TODO

   1 - Make scripts_plugin email heuristic less stupid, or maybe even ask for an
   2   email. This is tracked as Scripts #224 (this issue) and Scripts #193
   3   (tracking a contact address).
   4 - Current parallelization probably does a bad job distributing
   5   working tasks over different components of the pipeline. Fix
   6   this by adding jitter? Trying to smear things out?
   7
   8 - Test head doesn't do quite the right thing with version numbers
   9   (shouldn't git describe, instead should give a version infinitely
  10   in the future.)
  11 - Strategy introspection and disabling.
  12 - prepare-config (and others) create .wizard dir even
  13   when not strictly necessary
  14 - Bug out immediately if tags are not present in the master tip
  15   of the repository
  16 - pending doesn't seem to get written out properly sometimes (or
  17   it's being deleted); this makes it hard to --continue on the
  18   event of an upgrade failure.  Also, we seem to bounce back to
  19   the production copy to check pending even when we run --continue
  20   from the working dir.
  21 - Newline checks are /really really/ expensive on AFS; see if
  22   we can minimize them or something.  Right now, we're testing
  23   a fix where we don't clone with --shared.
  24 - Replace .split("\n") with .splitlines()
  25
  26 - Need to fix existing repo history? (not adding extra commits;
  27   that'll be more difficult)
  28
  29     git rebase -i -p --root --onto COMMITID
  30
  31   This won't work if you need to change the very root of the
  32   repository.  You'll probably end up with conflicts and have
  33   to manually resolve everything afterwards.
  34
  35   But usually you won't need --root --onto unless you really
  36   fucked up the pristine branch.  If you just need to change
  37   the scripts spine,
  38
  39     git rebase -i -p COMMITID
  40
  41   should work.
  42
  43 - [SCRIPTS] MediaWiki 1.6.7, 1.9.3 and 1.10.0
  44
  45 - geofft comments:
  46     "Connection to scripts.mit.edu closed" is confusing
  47     the URL should be easier to copy and paste, which means we should
  48       move it out of dialog
  49     We should ... upgrade our autoinstaller
  50     Apparently installing WordPress updates or themes never indicates
  51       completion, and just says "Downloading..", and you have to guess
  52       when it's done
  53
  54 - [SCRIPTS] phpBB
  55     - phpBB or phpbb? (right now it's the former)
  56     - need an upgrade story; srv needs more versions
  57     - need a story about install/ contrib/
  58
  59 - Give users a "certificate" of their merge, which they can
  60   use to reuse that merge commit if something unrelated fails.
  61
  62 - Human readable quota output
  63 - Nice error message on --continue if you forgot to git add your
  64   resolved file (look for conflict markers)
  65 - The merge interface is a kind of major UI disaster; you won't
  66   be able to use it unless you know how Git works.  Also, the
  67   merges can be quite difficult to resolve if upstream has made
  68   large formatting changes like reindenting.  We may also consider
  69   providing a --rebase option, which seems to do better when
  70   big problems like this show up.
  71
  72 - Better mass-* support for just one user (this includes letting
  73   a user mass upgrade just his own autoinstalls)
  74
  75 - Show progress or something when upgrading
  76 - Allow 'sticky notes' for future upgraders to notice
  77 - .wizard/url semantics are subtly wrong: in particular, if we
  78   explicitly configure a URL at install, we should be able to
  79   detect this URL as baked in from the configuration
  80
  81 - Rerere support doesn't actually work
  82 - "Version 3.0.0 doesn't exist; did you mean 3.0?"
  83 - Be a little more intelligent when perform web checks; for example,
  84   if we get a forbidden message, that probably means we go the right
  85   address but it's blocked off; if we get a 404 message, that probably
  86   means wrong address. Account Unknown is something particularly good
  87   to check for.
  88 - Wordpress module can do something intelligent if we get redirected
  89   to the installation page.
  90 - wizardResolve* files seem to get left in tmp en-mass, and we don't
  91   know why.
  92
  93 - [SCRIPTS] Wordpress needs to get rid of the siteurl hack, so that it
  94   actually has a fully-qualified URL http://foo.scripts.mit.edu/blah.
  95   This will also fix Wordpress's cron functionality.  We should be
  96   careful not to write over users who are on vhosts.  We should figure
  97   out who is still on twiddle paths.  We should make sure the redirect
  98   is handled correctly.
  99
 100 - Remerges aren't reflected in the parent files, so `git diff` output is
 101   spurious.  Not sure how to fix this w/o tree hackery.
 102 - Sometimes users remove files. Well, if those files change, they automatically
 103   get marked as conflicted.  Maybe we should say for certain files "if they're
 104   gone, they're gone forever"?  What is the proper resolution?
 105
 106 - Parse output HTML for class="error" and give those errors back to the user (done),
 107   then boot them back into configure so they can enter in something different
 108
 109 - [SCRIPTS] If you try to do an install on scripts w/o sql, it will sign
 110   you up but fail to write the sql.cnf file. This sucks.
 111
 112 - [SCRIPTS] Web application for installing autoinstalls has a hard
 113   problem with credentials (as well as installations that are not
 114   conducted on an Athena machine.)  We have some crazy ideas involving a
 115   signed Java applet that uses jsch to SSH into athena.dialup and
 116   perform operations.
 117
 118 - Pay back code debt
 119     - Tidy up common code in callAsUser and drop_priviledges in shell;
 120       namely cooking up the sudo and environment variable lines
 121     - Summary script should be more machine friendly, and should not
 122       output summary charts when I increase specificity
 123     - util.fetch() should use urllib under the hood, not httplib.  Code
 124       has to be changed.  We should log if we get redirected.
 125
 126 - Other stuff
 127     - Add support for mypristine workflow
 128     - Figure out why Sphinx sometimes fails to crossref :func: but wil
 129       crossref :meth:, even though the dest is very clearly a function.
 130       Example: :func:`wizard.app.php.re_var`
 131     - The TODO extension for Sphinx doesn't properly force a full-rebuild
 132     - Make single user mass-migrate work when not logged in as root.  The
 133       primary difficulty is making the parallel-find information easily
 134       accessible to individual users: perhaps we can do a single-user
 135       parallel-find on the fly.
 136     - Don't use the scripts heuristics unless we're on scripts with the
 137       AFS patch.  Check with `fs sysname`
 138     - Make 'wizard summary' generate nice pretty graphs of installs by date
 139       (more histograms, will need to check actual .scripts-version files.)
 140     - It should be able to handle installs like Django where there's a component
 141       that gets installed in web_scripts and another directory that gets installed
 142       in Scripts.
 143
 144 - [SCRIPTS] ACLs is a starting point for sending mail to users, but it
 145   has several failure modes:
 146     - Old maintainers who don't care who are still on the ACL
 147     - Private AFS groups that aren't mailing lists and that we can't get
 148       to A question is whether or not sending mail actually helps us:
 149       many users will probably have to come back to us for help; many
 150       other users won't care.
 151     - Whatever happens here should be used to improve user.email()
 152
 153 [ XXX: metadata.rst ]
 154
 155 COMMIT MESSAGE FIELDS:
 156
 157 Installed-by: username@hostname
 158 Pre-commit-by: Real Name <username@mit.edu>
 159 Upgraded-by: Real Name <username@mit.edu>
 160 Migrated-by: Real Name <username@mit.edu>
 161 Wizard-revision: abcdef1234567890
 162 Wizard-args: /wizard/bin/wizard foo bar baz
 163
 164 GIT COMMIT FIELDS:
 165
 166 Committer: Real Name <username@mit.edu>
 167 Author: lockername locker <lockername@scripts.mit.edu>
 168
 169 OVERALL PLAN:
 170
 171 [ XXX: doc/deps.rst ]
 172 * Some parts of the infrastructure will not be touched, although I plan
 173   on documenting them.  Specifically, we will be keeping:
 174
 175     - get-homedirs.sh. which needs to be run as root on scripts.  Store
 176       in /mit/scripts/sec-tools/store/scriptslist
 177
 178     - parallel-find.pl, and the resulting
 179       /mit/scripts/sec-tools/store/versions
 180
 181 [ XXX: doc/deploy.rst ]
 182       GET APPROVAL BEFORE PROCEEDING ANY FURTHER;
 183       THIS IS PUSHING THE CHANGES TO THE PUBLIC
 184
 185       NOTE: The following commands are to be run on not-backward.mit.edu.
 186       You'll need to add daemon.scripts-security-upd to
 187       scripts-security-upd to get bits to do this.  Make sure you remove
 188       these bits when you're done.
 189
 190    10. Run `wizard research appname`
 191        which uses Git commands to check how many
 192        working copies apply the change cleanly, and writes out a logfile
 193        with the working copies that don't apply cleanly.  It also tells
 194        us about "corrupt" working copies, i.e. working copies that
 195        have over a certain threshold of changes.
 196
 197    11. Run `wizard mass-upgrade appname`, which applies the update to all working
 198        copies possible.
 199
 200    12. Run parallel-find.pl to update our inventory
 201
 202 [ XXX: doc/metadata.rst ]
 203 * The repository for a given application will contain the following files:
 204
 205     - The actual application's files, as from the official tarball
 206
 207     - A .scripts directory, with the intent of holding Scripts specific files
 208       if they become necessary.
 209
 210         - .scripts/dsn, overriding database source name
 211