TODO

   1 - Strategy introspection and disabling.
   2 - prepare-config (and others) create .wizard dir even
   3   when not strictly necessary
   4 - Bug out immediately if tags are not present in the master tip
   5   of the repository
   6 - pending doesn't seem to get written out properly sometimes (or
   7   it's being deleted); this makes it hard to --continue on the
   8   event of an upgrade failure.  Also, we seem to bounce back to
   9   the production copy to check pending even when we run --continue
  10   from the working dir.
  11 - Newline checks are /really really/ expensive on AFS; see if
  12   we can minimize them or something.  Right now, we're testing
  13   a fix where we don't clone with --shared.
  14 - Replace .split("\n") with .splitlines()
  15
  16 - Need to fix existing repo history? (not adding extra commits;
  17   that'll be more difficult)
  18
  19     git rebase -i -p --root --onto COMMITID
  20
  21   This won't work if you need to change the very root of the
  22   repository.  You'll probably end up with conflicts and have
  23   to manually resolve everything afterwards.
  24
  25   But usually you won't need --root --onto unless you really
  26   fucked up the pristine branch.  If you just need to change
  27   the scripts spine,
  28
  29     git rebase -i -p COMMITID
  30
  31   should work.
  32
  33 - [SCRIPTS] MediaWiki 1.6.7, 1.9.3 and 1.10.0
  34
  35 - geofft comments:
  36     "Connection to scripts.mit.edu closed" is confusing
  37     the URL should be easier to copy and paste, which means we should
  38       move it out of dialog
  39     We should ... upgrade our autoinstaller
  40     Apparently installing WordPress updates or themes never indicates
  41       completion, and just says "Downloading..", and you have to guess
  42       when it's done
  43
  44 - [SCRIPTS] phpBB
  45     - phpBB or phpbb? (right now it's the former)
  46     - need an upgrade story; srv needs more versions
  47     - need a story about install/ contrib/
  48
  49 - Give users a "certificate" of their merge, which they can
  50   use to reuse that merge commit if something unrelated fails.
  51
  52 - Human readable quota output
  53 - Nice error message on --continue if you forgot to git add your
  54   resolved file (look for conflict markers)
  55 - The merge interface is a kind of major UI disaster; you won't
  56   be able to use it unless you know how Git works.  Also, the
  57   merges can be quite difficult to resolve if upstream has made
  58   large formatting changes like reindenting.  We may also consider
  59   providing a --rebase option, which seems to do better when
  60   big problems like this show up.
  61
  62 - Better mass-* support for just one user (this includes letting
  63   a user mass upgrade just his own autoinstalls)
  64
  65 - Show progress or something when upgrading
  66 - Allow 'sticky notes' for future upgraders to notice
  67 - .wizard/url semantics are subtly wrong: in particular, if we
  68   explicitly configure a URL at install, we should be able to
  69   detect this URL as baked in from the configuration
  70
  71 - Rerere support doesn't actually work
  72 - "Version 3.0.0 doesn't exist; did you mean 3.0?"
  73 - Be a little more intelligent when perform web checks; for example,
  74   if we get a forbidden message, that probably means we go the right
  75   address but it's blocked off; if we get a 404 message, that probably
  76   means wrong address. Account Unknown is something particularly good
  77   to check for.
  78 - Wordpress module can do something intelligent if we get redirected
  79   to the installation page.
  80 - wizardResolve* files seem to get left in tmp en-mass, and we don't
  81   know why.
  82
  83 - [SCRIPTS] Wordpress needs to get rid of the siteurl hack, so that it
  84   actually has a fully-qualified URL http://foo.scripts.mit.edu/blah.
  85   This will also fix Wordpress's cron functionality.  We should be
  86   careful not to write over users who are on vhosts.  We should figure
  87   out who is still on twiddle paths.  We should make sure the redirect
  88   is handled correctly.
  89
  90 - Remerges aren't reflected in the parent files, so `git diff` output is
  91   spurious.  Not sure how to fix this w/o tree hackery.
  92 - Sometimes users remove files. Well, if those files change, they automatically
  93   get marked as conflicted.  Maybe we should say for certain files "if they're
  94   gone, they're gone forever"?  What is the proper resolution?
  95
  96 - Parse output HTML for class="error" and give those errors back to the user (done),
  97   then boot them back into configure so they can enter in something different
  98
  99 - [SCRIPTS] If you try to do an install on scripts w/o sql, it will sign
 100   you up but fail to write the sql.cnf file. This sucks.
 101
 102 - [SCRIPTS] Web application for installing autoinstalls has a hard
 103   problem with credentials (as well as installations that are not
 104   conducted on an Athena machine.)  We have some crazy ideas involving a
 105   signed Java applet that uses jsch to SSH into athena.dialup and
 106   perform operations.
 107
 108 - Pay back code debt
 109     - Tidy up common code in callAsUser and drop_priviledges in shell;
 110       namely cooking up the sudo and environment variable lines
 111     - Summary script should be more machine friendly, and should not
 112       output summary charts when I increase specificity
 113     - util.fetch() should use urllib under the hood, not httplib.  Code
 114       has to be changed.  We should log if we get redirected.
 115
 116 - Other stuff
 117     - Add support for mypristine workflow
 118     - Figure out why Sphinx sometimes fails to crossref :func: but wil
 119       crossref :meth:, even though the dest is very clearly a function.
 120       Example: :func:`wizard.app.php.re_var`
 121     - The TODO extension for Sphinx doesn't properly force a full-rebuild
 122     - Make single user mass-migrate work when not logged in as root.  The
 123       primary difficulty is making the parallel-find information easily
 124       accessible to individual users: perhaps we can do a single-user
 125       parallel-find on the fly.
 126     - Don't use the scripts heuristics unless we're on scripts with the
 127       AFS patch.  Check with `fs sysname`
 128     - Make 'wizard summary' generate nice pretty graphs of installs by date
 129       (more histograms, will need to check actual .scripts-version files.)
 130     - It should be able to handle installs like Django where there's a component
 131       that gets installed in web_scripts and another directory that gets installed
 132       in Scripts.
 133
 134 - [SCRIPTS] ACLs is a starting point for sending mail to users, but it
 135   has several failure modes:
 136     - Old maintainers who don't care who are still on the ACL
 137     - Private AFS groups that aren't mailing lists and that we can't get
 138       to A question is whether or not sending mail actually helps us:
 139       many users will probably have to come back to us for help; many
 140       other users won't care.
 141     - Whatever happens here should be used to improve user.email()
 142
 143 [ XXX: metadata.rst ]
 144
 145 COMMIT MESSAGE FIELDS:
 146
 147 Installed-by: username@hostname
 148 Pre-commit-by: Real Name <username@mit.edu>
 149 Upgraded-by: Real Name <username@mit.edu>
 150 Migrated-by: Real Name <username@mit.edu>
 151 Wizard-revision: abcdef1234567890
 152 Wizard-args: /wizard/bin/wizard foo bar baz
 153
 154 GIT COMMIT FIELDS:
 155
 156 Committer: Real Name <username@mit.edu>
 157 Author: lockername locker <lockername@scripts.mit.edu>
 158
 159 OVERALL PLAN:
 160
 161 [ XXX: doc/deps.rst ]
 162 * Some parts of the infrastructure will not be touched, although I plan
 163   on documenting them.  Specifically, we will be keeping:
 164
 165     - get-homedirs.sh. which needs to be run as root on scripts.  Store
 166       in /mit/scripts/sec-tools/store/scriptslist
 167
 168     - parallel-find.pl, and the resulting
 169       /mit/scripts/sec-tools/store/versions
 170
 171 [ XXX: doc/deploy.rst ]
 172       GET APPROVAL BEFORE PROCEEDING ANY FURTHER;
 173       THIS IS PUSHING THE CHANGES TO THE PUBLIC
 174
 175       NOTE: The following commands are to be run on not-backward.mit.edu.
 176       You'll need to add daemon.scripts-security-upd to
 177       scripts-security-upd to get bits to do this.  Make sure you remove
 178       these bits when you're done.
 179
 180    10. Run `wizard research appname`
 181        which uses Git commands to check how many
 182        working copies apply the change cleanly, and writes out a logfile
 183        with the working copies that don't apply cleanly.  It also tells
 184        us about "corrupt" working copies, i.e. working copies that
 185        have over a certain threshold of changes.
 186
 187    11. Run `wizard mass-upgrade appname`, which applies the update to all working
 188        copies possible.
 189
 190    12. Run parallel-find.pl to update our inventory
 191
 192 [ XXX: doc/metadata.rst ]
 193 * The repository for a given application will contain the following files:
 194
 195     - The actual application's files, as from the official tarball
 196
 197     - A .scripts directory, with the intent of holding Scripts specific files
 198       if they become necessary.
 199
 200         - .scripts/dsn, overriding database source name
 201