TODO

   1 - Bug out immediately if tags are not present in the master tip
   2   of the repository
   3 - pending doesn't seem to get written out properly sometimes (or
   4   it's being deleted); this makes it hard to --continue on the
   5   event of an upgrade failure.  Also, we seem to bounce back to
   6   the production copy to check pending even when we run --continue
   7   from the working dir.
   8 - Newline checks are /really really/ expensive on AFS; see if
   9   we can minimize them or something.  Right now, we're testing
  10   a fix where we don't clone with --shared.
  11
  12 - [SCRIPTS] MediaWiki 1.6.7, 1.9.3 and 1.10.0
  13
  14 - geofft comments:
  15     "Connection to scripts.mit.edu closed" is confusing
  16     the URL should be easier to copy and paste, which means we should
  17       move it out of dialog
  18     We should ... upgrade our autoinstaller
  19     Apparently installing WordPress updates or themes never indicates
  20       completion, and just says "Downloading..", and you have to guess
  21       when it's done
  22
  23 - [SCRIPTS] phpBB
  24     - phpBB or phpbb? (right now it's the former)
  25     - need an upgrade story; srv needs more versions
  26     - need a story about install/ contrib/
  27
  28 - Give users a "certificate" of their merge, which they can
  29   use to reuse that merge commit if something unrelated fails.
  30
  31 - Human readable quota output
  32 - Nice error message on --continue if you forgot to git add your
  33   resolved file (look for conflict markers)
  34 - The merge interface is a kind of major UI disaster; you won't
  35   be able to use it unless you know how Git works.  Also, the
  36   merges can be quite difficult to resolve if upstream has made
  37   large formatting changes like reindenting.  We may also consider
  38   providing a --rebase option, which seems to do better when
  39   big problems like this show up.
  40
  41 - Better mass-* support for just one user (this includes letting
  42   a user mass upgrade just his own autoinstalls)
  43
  44 - Show progress or something when upgrading
  45 - Allow 'sticky notes' for future upgraders to notice
  46 - .wizard/url semantics are subtly wrong: in particular, if we
  47   explicitly configure a URL at install, we should be able to
  48   detect this URL as baked in from the configuration
  49
  50 - Rerere support doesn't actually work
  51 - "Version 3.0.0 doesn't exist; did you mean 3.0?"
  52 - Be a little more intelligent when perform web checks; for example,
  53   if we get a forbidden message, that probably means we go the right
  54   address but it's blocked off; if we get a 404 message, that probably
  55   means wrong address. Account Unknown is something particularly good
  56   to check for.
  57 - Wordpress module can do something intelligent if we get redirected
  58   to the installation page.
  59 - wizardResolve* files seem to get left in tmp en-mass, and we don't
  60   know why.
  61
  62 - [SCRIPTS] Wordpress needs to get rid of the siteurl hack, so that it
  63   actually has a fully-qualified URL http://foo.scripts.mit.edu/blah.
  64   This will also fix Wordpress's cron functionality.  We should be
  65   careful not to write over users who are on vhosts.  We should figure
  66   out who is still on twiddle paths.  We should make sure the redirect
  67   is handled correctly.
  68
  69 - Remerges aren't reflected in the parent files, so `git diff` output is
  70   spurious.  Not sure how to fix this w/o tree hackery.
  71 - Sometimes users remove files. Well, if those files change, they automatically
  72   get marked as conflicted.  Maybe we should say for certain files "if they're
  73   gone, they're gone forever"?  What is the proper resolution?
  74
  75 - Parse output HTML for class="error" and give those errors back to the user (done),
  76   then boot them back into configure so they can enter in something different
  77
  78 - [SCRIPTS] If you try to do an install on scripts w/o sql, it will sign
  79   you up but fail to write the sql.cnf file. This sucks.
  80
  81 - [SCRIPTS] Web application for installing autoinstalls has a hard
  82   problem with credentials (as well as installations that are not
  83   conducted on an Athena machine.)  We have some crazy ideas involving a
  84   signed Java applet that uses jsch to SSH into athena.dialup and
  85   perform operations.
  86
  87 - Pay back code debt
  88     - Tidy up common code in callAsUser and drop_priviledges in shell;
  89       namely cooking up the sudo and environment variable lines
  90     - Summary script should be more machine friendly, and should not
  91       output summary charts when I increase specificity
  92     - util.fetch() should use urllib under the hood, not httplib.  Code
  93       has to be changed.  We should log if we get redirected.
  94
  95 - Other stuff
  96     - Add support for mypristine workflow
  97     - Figure out why Sphinx sometimes fails to crossref :func: but wil
  98       crossref :meth:, even though the dest is very clearly a function.
  99       Example: :func:`wizard.app.php.re_var`
 100     - The TODO extension for Sphinx doesn't properly force a full-rebuild
 101     - Make single user mass-migrate work when not logged in as root.  The
 102       primary difficulty is making the parallel-find information easily
 103       accessible to individual users: perhaps we can do a single-user
 104       parallel-find on the fly.
 105     - Don't use the scripts heuristics unless we're on scripts with the
 106       AFS patch.  Check with `fs sysname`
 107     - Make 'wizard summary' generate nice pretty graphs of installs by date
 108       (more histograms, will need to check actual .scripts-version files.)
 109     - It should be able to handle installs like Django where there's a component
 110       that gets installed in web_scripts and another directory that gets installed
 111       in Scripts.
 112
 113 - [SCRIPTS] ACLs is a starting point for sending mail to users, but it
 114   has several failure modes:
 115     - Old maintainers who don't care who are still on the ACL
 116     - Private AFS groups that aren't mailing lists and that we can't get
 117       to A question is whether or not sending mail actually helps us:
 118       many users will probably have to come back to us for help; many
 119       other users won't care.
 120     - Whatever happens here should be used to improve user.email()
 121
 122 [ XXX: metadata.rst ]
 123
 124 COMMIT MESSAGE FIELDS:
 125
 126 Installed-by: username@hostname
 127 Pre-commit-by: Real Name <username@mit.edu>
 128 Upgraded-by: Real Name <username@mit.edu>
 129 Migrated-by: Real Name <username@mit.edu>
 130 Wizard-revision: abcdef1234567890
 131 Wizard-args: /wizard/bin/wizard foo bar baz
 132
 133 GIT COMMIT FIELDS:
 134
 135 Committer: Real Name <username@mit.edu>
 136 Author: lockername locker <lockername@scripts.mit.edu>
 137
 138 OVERALL PLAN:
 139
 140 [ XXX: doc/deps.rst ]
 141 * Some parts of the infrastructure will not be touched, although I plan
 142   on documenting them.  Specifically, we will be keeping:
 143
 144     - get-homedirs.sh. which needs to be run as root on scripts.  Store
 145       in /mit/scripts/sec-tools/store/scriptslist
 146
 147     - parallel-find.pl, and the resulting
 148       /mit/scripts/sec-tools/store/versions
 149
 150 [ XXX: doc/deploy.rst ]
 151       GET APPROVAL BEFORE PROCEEDING ANY FURTHER;
 152       THIS IS PUSHING THE CHANGES TO THE PUBLIC
 153
 154       NOTE: The following commands are to be run on not-backward.mit.edu.
 155       You'll need to add daemon.scripts-security-upd to
 156       scripts-security-upd to get bits to do this.  Make sure you remove
 157       these bits when you're done.
 158
 159    10. Run `wizard research appname`
 160        which uses Git commands to check how many
 161        working copies apply the change cleanly, and writes out a logfile
 162        with the working copies that don't apply cleanly.  It also tells
 163        us about "corrupt" working copies, i.e. working copies that
 164        have over a certain threshold of changes.
 165
 166    11. Run `wizard mass-upgrade appname`, which applies the update to all working
 167        copies possible.
 168
 169    12. Run parallel-find.pl to update our inventory
 170
 171 [ XXX: doc/metadata.rst ]
 172 * The repository for a given application will contain the following files:
 173
 174     - The actual application's files, as from the official tarball
 175
 176     - A .scripts directory, with the intent of holding Scripts specific files
 177       if they become necessary.
 178
 179         - .scripts/dsn, overriding database source name
 180