Move InvalidId to db.util

Instead of import InvalidId from the low level bson module,
first import it in our db.util wrapper and second import it
from pymongo.errors.

./runtests.sh: run unit tests without having to remember the long command.

Need to run nosetests with CELERY_CONFIG_MODULE set to from_tests again.

Basically, if we don't do this celery sets itself up before it should
and improperly. :\

Documenting the setup_globals function.

Document our new global objects added during the configobj branch

Merge remote branch 'remotes/elrond/idea/globals_check'

Conflicts:
mediagoblin/tests/test_globals.py

Reset the globals parameters while testing parameters

(This way we can be sure that the database is torn down if necessary
but this was the only test that passed last.)

Re-commenting-out lxml from setup.py

Clarifying that this is something to install from the package manager
and not via python setuptools itself.

Updated hacking howto to reflect our new, easier to run lazyserver.sh command.

./lazyserver.sh: launch a server in the most basic way possible

Looks for paster either in buildout or in virtualenv / on the path,
wherever it seems to be.

Actually we need pkg_resources again in test_celery_setup :)

This got removed in master at the same time that it got used in the
configobj branch...

Merge branch 'configobj'

Adjusting hackinghowto docs to reflect change in server/tests commands

Removing a couple of unused imports from util.py

Removing "paste config" phrasing where we're no longer using paste's config

renaming storage_system_from_paste_config()->storage_system_from_config()

As Elrond points out, this name doesn't make sense anymore since this
isn't based on the paste config.  Thanks Elrond!

util.read_config_file() no longer needed; removing.

Preparing celery unit tests for new setup.

Instead of the previous passing in of dictionaries, we're actually
checking some example config files.

./bin/gmg commands upgraded to work with the new setup.

Nosetests should now be able to run using the new configobj / app init setup

Lots of changes:
 - CELERY_CONFIG_FILE does not need to be set to the from_tests module
   to run tests anymore, in fact it *should not be set at all* and is
   specifically forbidden.
 - moved around the configuration to the new 2-file format
 - and generally adjusting the code appropriately.

Only kill the database if it's really set up.

It's a good idea for us to pass the application itself into mg_globals :)

Updating celery_setup.from_celery to use new config loading / app init

 - The code for this is significantly simpler now.  The app sets up
   everything but celery, and from_celery finishes the job.
 - There's no more specifying the mediagoblin section in the file,
   which doesn't make sense anymore and was already confusing.

Removing option to set celery config section.

There's no real reason to support setting the celery config section;
so we'll just make it always ['celery'].

Removing type conversions from setup_celery_from_config.

These simply aren't needed any more, not now that the config validator
stuff does type conversion for us.

Also fixed the docstring to explain force_celery_always_eager.

Erk!  Forgot to include the new mediagoblin.ini.

Move entire app structure over to using the new config system.

This is a huge change!  This means several things.

 - From the python point of view, launching the application is a heck
   of a lot cleaner.  You just need to pass in the config file path to
   MediaGoblinApp's __init__() and whether or not this funtion should
   setup celery and you're good.
 - There are now two separate config files, separating the server
   setup from the application setup.
   - server.ini: the paste deploy config file, which configures the
     applications and server setup but *NOT* the mediagoblin application
     itself.
   - mediagoblin.ini: where you configure mediagoblin (and possibly celery)
 - Launching the application is now different.  Instead of:
     ./bin/paster serve mediagoblin.ini --reload
   We launch like:
     ./bin/paster serve server.ini --reload

Tests for mediagoblin.config functions

Tests for:
  - read_mediagoblin_config()
  - generate_validation_report()

CONFIG_SPEC_PATH should be config_spec here, fixing.

Removing unused pkg_resources import from test_celery_setup

Make REPORT_HEADER a unicode string also.  Unicode everywhere, ideally!

Validation error reporting functionality.

Changed a few things so we can report errors to users properly in the
config loading system.

 - We now return from read_mediagoblin_config both a loaded config and
   the validation results
 - We now have a helper function generate_validation_report that can
   generate a proper validation report saying if there are errors in a
   way that's useful to users.
 - Moved conf->config in the read_mediagoblin_config function, which
   looks nicer IMO.

Let's specifically import string_list()s in the config_spec.

Merge branch 'master' into configobj

Conflicts:
setup.py

We require lxml.  Updating setup.py to reflect that.

Merge remote branch 'remotes/cmoylan/test_auth_views_364'

logins are now somewhat tested

added vim swapfiles to gitignore

Merge remote branch 'remotes/gullydwarf-cfdv/is330'

adds link from gallery back to user page

adds link to user gallery in mediagoblin_header_right of user page

user_gallery controller calls render_to_reponse

adds routing.py and view.py changes

issue #330 - creates a user gallery template

Recommending --set-upstream when doing a git push to a feature branch.

This is nice because it means git will tell you when your branch is
ahead/behind by several commits, assuming you keep working on it.

Configuration file loading via ConfigObj.

Uses ConfigObj to open the config file.  Also does validation via the
config spec, so defaults are provided, strings are interpolated, types
are converted.

Basic config "requirements" file.

Not used yet, but this will be used by ConfigObj to transform values,
set defaults, etc.

Require ConfigObj

Merge remote branch 'remotes/elrond/dev/workbench_class'

Move destroy_workbench to Workbench class

And add a lot of warnings, as the checks for "being part of
the main Manager" are all gone.

Drop WorkbenchManager.localized_file()

As Workbench has the localized_file() method, use this
everywhere and drop the wrapper method from
WorkbenchManager.

The processing code already did that.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

A super strict HTML cleaner method with mediocre tests.

Adds local toc sections

* Some of our chapters are pretty long and this should make it much
  easier for a user to find what they're looking for and jumping
  to it.  It's easier to read the section toc at the top of the
  chapter, than it is to read it in the sidebar.

Updates version in docs

Already mentioned, but clarifying that branches should be localized to
a feature/bugfix/issue.

Tweaks git workflow structure

* minor tweaking of the headers of the git workflow to break
  things up and organize them a bit better

Fixes git workflow

* overhauls the docs so they're (hopefully) clearer on the git
  workflow
* adds text about putting things in bugfix branches, documenting
  your work, and using the issue tracker
* adds a contrived example that uses aliens

Merge remote branch 'remotes/elrond/idea/simple_proc_media_clean'

Conflicts:
mediagoblin/process_media/__init__.py

Create a Workbench class and use it everywhere.

Some references to Workbench.dir look ugly, I'm happy to
hear suggestions there.

ensure color mode compatibility when making image thumbnails

First import of mg_globals as mgg, partly because I just wanted it to
be clear that it's okay to do by doing it *somewhere* :)

mediagoblin.globals->mediagoblin.mg_globals

Let setup_globals check for known globals

To avoid typos in calling setup_globals(), only allow
globals, which are already known to the system.
Plugins should have their own globals.

Merge remote branch 'remotes/elrond/idea/clean_celery_setup'

Conflicts:
mediagoblin/celery_setup/from_celery.py

Merge remote branch 'remotes/elrond/idea/tests_kill_db'

possibly_localize_file->localized_file... a bit less terribly long.

Switch process_media over to using the workbench.

Don't bother returning whether or not we copied it or not, we can
figure that out by looking to see whether our storage is local or not.

Moving workbench out of process_media

Merge branch 'master' into workbench

Import mediagoblin.globals as mg_globals so we can be sure things are
set up in the right order.

Have the application set up instances of the WorkbenchManager.

test WorkbenchManager.possibly_localize_file()

We don't need this extra '.' in making the filename

Added a FakeRemoteStorage, for testing purposes

Make sure workbench won't kill directories out of scope.

Tests for creating/destroying workbenches

Wrote functions and documentation for all the WorkbenchManager
functions but haven't actually tested them yet. :)

Base structure of workbench manager

Adding a copy_locally() method to the StorageInterface and giving it a test.

Allow storage systems to be local and allow for a get_local_path
method if applicable.

Tests: Kill the whole testing database after all tests

nose allows setup and teardown functions at the package
level. So use this to drop the complete database after all
tests have finished.

celery_setup: drop param to setup_self and simplify OUR_MODULENAME

setup_self used to look like this:
setup_self(setup_globals_func=setup_globals)
The function isn't called with any param, so drop it.
Rewrite function as needed.

The module var OUR_MODULENAME just has the module's name in
it. This is available as __name__ anyway, so use this to
initialize the var.

Refactor filename generation in the public store

Just a small refactoring of the filename setup in the
public store. Very simple.

This attribute in quotes, too. :)

XML attributes must be in quotes!

Fixing check_filetype...

We need to check the first part of the guess_type returned tuple, and
also this try: except: doesn't belong here, so killing.

Added a comment to clarify that this shouldn't stay here.

Merge remote branch 'remotes/gandaro/324-bad-media-types'

A setup_fresh_app decorator which should make writing tests a bit easier.
Setting test_register_views() to use it also.

A clear_test_buckets() method

Docstring for test_register_views()

Make sure that two users with the same username can't register.

Email verification view test works

Make sure we can register, and then that we get the verification email

Use render_template utility so we can test whether or not this email
sends

Moved the verification url generation string template to a global variable

Make sure that get_test_app() really does wipe the database

Made a simple template rendering view and switched a bunch of code over to using it