Expand documentation.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Revise existing repository conversion instructions.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Rename NonfatalFailure to RecoverableFailure.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

When MediaWiki installs fail due to bad user input, give useful errors.

Signed-off-by: Duncan Townsend <duncant@mit.edu>

NotImplemented -> NotImplementedError.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Revamp 'wizard summary', and start writing tutorial docs.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Improve wording of prompts.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix bug in scripts MySQL database generation.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Test if terminal is supported, or fallback to Prompt.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Use prompt if terminal is dumb.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix syntax error.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Minor doc updates and code refinements.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement post-installation machinery for Wordpress.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fill in undocumented functions and classes.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Revamp tests, fix minor usability problems with installer.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add script for convenient updating of /mit/scripts/wizard

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO, fix broken prepare-config.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement Wordpress installer for 2.0.2 w/ sqlalchemy.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement required/optional argument grouping.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix double-slash in URLs, and broken command line options.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Remove unnecessary commands, add help to install.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Ask for password twice, and check if they match.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix bug in wizard configure with old API.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Remove directory/application interactivity.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement interactive mode without validation.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refactor documentation in wizard.install

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Change wizard install to not make external code.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix bugs in scripts-specific installation code.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Massively refactor install modules.

* ArgHandler is now ArgSchema and installopt.Controller
* Environment turned into a dynamic strategy
* Strategies made into two stage objects, with prepare and execute
* Rewrite priority code

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Move install.py to install folder.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add php.ini note in TODO, and mention general purpose.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Allow newly initialized repo, and allow passing of tarball, for prepare-pristine.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement prepare-new/prepare-pristine, add stub wordpress.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Changed scripts.py to work on macs. Added a unit test for said changes.

- Added exception catching for systems that don't have "fs"
- Removed the call to "du" and replaced it with python code

Signed-off-by: Duncan Townsend <duncant@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Sacrifice user friendly message for good messages when imports fail.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add decorator as a dependency.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Misc bug fixes.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Partition on colon for exceptions, ignore blank blacklistings.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Make blacklisted error have different error code, remove -1.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Remove spurious app import.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Remove unnecessary imports.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix pylint errors.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Move generic functionality out of wizard.app.mediawiki.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Document wizard.app, and refactor APIs.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Move Application/ApplicationVersion to wizard.app

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refactor Deployment into Working/Production copies.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Rename logging and base args, fix pylint errors.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Minor refactorings, update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Stop using excepthook magic, add exitcode support.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

More bugfixes from running live.

* Add a few more wgCacheEpoch resolutions
* Make prepareMerge work for \r\r\r\n
* Add flush and fails to Report.  This needs further work.
* Require reason for wizard blacklist
* Cleanup /dev/shm/wizard at the start of mass runs
* Special case a few more errors
* Report reason for blacklisting in stdout.
* Add global finally for removing /dev/shm directories
* Add QuotaParseError

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Major updates to resolution code from runs.

* Augment MediaWiki conflict resolution with correct version for
  end of line
* Add prepareMerge to application for pre-merge resolution
  helpers (mostly for line-ending problems)
* Fix MediaWiki resolveConflicts parsing of ls-files output,
  and another unrelated bug
* Add space between logging and summary outputs
* Move backup back to correct location, and perform size calculation
  twice
* UpgradeVerificationFailure gets useful output
* /dev/shm/wizard gets chmod'ed 0777
* Fix resolution algorithm to handle each conflict block individually.
  Test cases augmented accordingly.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix quota verification bugs.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement disk quota checking.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Report stats if you C-c the process.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Automatically perform logging during --continue.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement number of conflict reporting for upgrades.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement 'append-by-default' reports, --redo for mass-upgrade.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement sqlite dict.  We might not actually use this.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix bugs with new reporting code.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Change reporting and logging semantics.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement quick logging changes.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement MediaWiki scaffolding for auto conflict resolution; untested.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement backend for automatic conflict resolution.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix missing documentation.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Merges occur on /dev/shm if available.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Suppress ^M characters from Git progress bars.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix errors parsing error messages with indents.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Update TODO, add VISION text.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement 'wizard blacklist', tweaks.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix web verification in MediaWiki and improve handling.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refinements from running in practice.

* Relax MediaWiki webCheck
* Add 'wizard restore top' support
* Fix bugs in 'wizard upgrade' if you didn't commit

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add support for per-user mass-upgrades from root.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix inability to access SQL password on n-b.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement locks for upgrade, add d.upgrade()

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement web verification for pre-upgrade and post-upgrade.

* checkWeb and verifyWeb for Application and Deployment
* Fix bug if MediaWiki update.php doesn't return any output
* Return backup name from d.backup(), and print it from 'wizard backup'
* Ignore keyboard interrupts when running upgrades
* Created get_web_host_and_path() function in wizard.scripts
* Created fetch() in wizard.util

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Migrate reverts if keyboard interrupted.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix duplicate errors in wizard configure.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Make sphinx stop complaining for sset.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Backup on upgrade, add tests.

* Fix bug in 'wizard backup'
* Make 'wizard install' perform a commit
* Make 'wizard install app-oldversion' do a hard reset
* Add backup() and restore() to Deployment
* Have sql credentials read environmental variables

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement 'wizard restore'.

* Added stdin, stderr and stdout kwargs to shell

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement 'wizard backup'.  Other minor refactorings:

* Moved SQL credential detection to new wizard.scripts module
* Made error messages for wizard install a little better
* Make help message not as long for environment variables
* Move safe_unlink to wizard.util

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Added documentation on sset.py

Signed-off-by: Andrew M. Farrell <afarrell@mit.edu>

Update TODO.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Various refinements from our mass-upgrade run.

* Add missing command entry for mass-upgrade
* Increase concurrent processes by default
* Add UpgradeFailure checking for MediaWiki
* Change install and upgrade to take a distutils.version.LooseVersion
* Propagate --force from mass-upgrade to upgrade

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refine mass-upgrade script and others from brief test runs.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Implement mass-upgrade.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Move a number of common parameters to the baton.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refactor out common mass operations to command module.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Refactor common parts from mass_migrate.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Fix documentation.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Make upgrade protect against local updates.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add --force-version to wizard migrate.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Add version detection.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Flesh out research errors, fix bad merge commit.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Preliminary prototype of research.

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>