doc: Update developer migration docs for Alembic as primary migration system

* docs/source/devel/migrations.rst: Update to reflect sqlalchemy-migrate
  as being deprecated and Alembic as being the new way of doing
  migrations.

Update make_example_database.sh to use #!/bin/sh instead of #!/usr/bin/env

* devtools/make_example_database.sh: Update shebang.

doc: Update plugins documentation in light of alembic branching usage

* docs/source/siteadmin/plugins.rst:
  Added a reminder to run "./bin/gmg dbupdate" after installing a plugin.
  Added a new "Deactivating plugins" section.
  Renamed "Removing plugins" to "Removing plugin packages".

dbupdate: Correctly handle plugin foundations

* mediagoblin/gmg_commands/dbupdate.py (run_foundations):
  When adding a plugin's foundations, correctly append both
  the name and the foundations in a tuple to the list.
  This prevents errors.

doc: Note that plugin authors must NEVER modify tables they don't control

* docs/source/pluginwriter/database.rst: New paragraph.

Update database docs for plugin authors for new alembic branching world

Things have gotten both easier and more complex in the branching world
view.  Plugins branch off of main with their own migrations.
Generating these has become a bit easier, but the steps for doing this
are a bit wordy to explain.

* docs/source/pluginwriter/database.rst: Update both the
  "Creating new Tables" and "Changing the Database Schema Later"
  sections accordingly.

Add comment questioning why run_dbupdate is needed in get_app test utility

* mediagoblin/tests/tools.py (get_app): Add comment

Fix tests post-alembic-migration-changes.

* mediagoblin/init/__init__.py (setup_database): Update to run alembic
  migrations, skip the old legacy migrations.

Only run archivalook migration if the tables aren't there.

Standard for anything existing before the Alembic move-over, but I
forgot this one.

* mediagoblin/plugins/archivalook/migrations/b10b5f822789_archivalook_plugin_initial_migration.py
  (upgrade): Add has_table check, skip if such a table already exists.

Archivalook plugin initial migration.

* mediagoblin/plugins/archivalook/migrations/b10b5f822789_archivalook_plugin_initial_migration.py:
  New file.

OpenID plugin initial migration.

* mediagoblin/plugins/openid/migrations/071abb33d1da_openid_plugin_initial_migration.py:
  New file.

Persona plugin initial migration.

* mediagoblin/plugins/persona/migrations/c7d4840a5592_persona_plugin_initial_migration.py:
  New file.

Blog media type initial migration.

* mediagoblin/media_types/blog/migrations/562bc42a8fff_blog_media_type_initial_migration.py:
  New file.

PDF media type initial migration.

* mediagoblin/media_types/pdf/migrations/faa209f143b5_pdf_media_type_initial_migration.py:
  New file.

STL media type initial migration.

* mediagoblin/media_types/stl/migrations/16134ed134ad_stl_media_type_initial_migration.py:
  New file.

Ascii media type initial migration.

* mediagoblin/db/migrations/versions/72bd70f7eefd_ascii_media_type_initial_migration.py:
  New file.

Video media type initial migration.

* mediagoblin/media_types/video/migrations/38feb829c545_video_media_type_initial_migration.py:
  New file.

Audio media type initial migration.

* mediagoblin/media_types/audio/migrations/e9212d3a12d3_adding_audio_media_type_initial_.py:
  New file.

Image media type initial migration.

* mediagoblin/media_types/image/migrations/a98c1a320e88_image_media_type_initial.py:
  New file.

Removing erronously installed print statement.

* mediagoblin/gmg_commands/alembic_commands.py (FudgedCommandLine.main):
  Removed call to print.

Allow for passing in --with-plugins to the alembic gmg subcommand.

This allows plugin writers to easily take advantage off alembic's migration
autogeneration support.

* mediagoblin/gmg_commands/alembic_commands.py: Adjusted imports.
  (FudgedCommandLine.main, parser_setup): Add support for importing
  plugins when --with-plugins is passed in.

Only run sqlalchemy-migrate migrations if we have to; separate foundations

The goal is to get things to the point where Alembic can run on its own
for new databases and initialize the whole database on its own.  There
are risks to not doing so, see #5413 for details.

There's a lot more here that could removed or cleaned up once
sqlalchemy-migrate is *completely* removed in the future.

* mediagoblin/db/migration_tools.py (MigrationManager.foundations):
  Removed attribute.
  (MigrationManager.populate_table_foundations): Removed method.
  (MigrationManager.init_or_migrate): Removed call to deprecated method.
  (populate_table_foundations): New function, refactored from former
  MigrationManager method of same name.

* mediagoblin/gmg_commands/dbupdate.py: Import populate_table_foundations.
  (DatabaseData.foundations): Remove attribute.
  (DatabaseData.make_migration_manager): Adjust instantiation of
  MigrationManager.
  (gather_database_data): Move out the work of building up foundations data.
  (run_foundations): New method, incorporating logic for gathering and
  running foundations which was previously spread across other
  functions and methods.
  (run_alembic_migrations): Remove deprecated comment.
  (run_dbupdate): Only run sqlalchemy migrations if we have to.
  Also run run_foundations if we are setting up this database for the
  first time.
  (sqam_migrations_to_run): New method.

Switch initial_revision alembic migration to make tables if they aren't there

This is a necessary step towards deprecating sqlalchemy-migrate.

* mediagoblin/db/migrations/versions/52bf0ccbedc1_initial_revision.py
  (upgrade): Update for adding tables.  Mostly generated via Alembic's
  autogenerate tools.
  (downgrade): Added a comment.

Set target_metadata in alembic's env.py to Base.metadata

This allows us to make use of automatically generated migrations, at
least for core.

* mediagoblin/db/migrations/env.py (target_metadata): Switch to gmg's
  Base.metadata.

Update out script.py mako template to support branch_labels

This is important (probably) for long-running plugin branches.

* mediagoblin/db/migrations/script.py.mako: Updated to upstream
  Alembic version of this file.

dbupdate updates to use plugin migrations if available

This makes use of the recently added "build_alembic_config" tool and
removes AlembicMigrationManager.

* mediagoblin/db/migration_tools.py (AlembicMigrationManager): Removed.
* mediagoblin/gmg_commands/dbupdate.py (run_alembic_migrations):
  Adjusted to use recently added build_alembic_config tool.

Ignore .eggs/ directory

Add build_alembic_config, use it to add plugin migrations to alembic config

guix-env.scm: Comment on python-numpy pulling in texlive

textlive-texmf is currently a dependency of texlive in Guix, and is
very large.  Users may want to know and disable this dependency, if
they can bear limiting the media types they are developing with.

* guix-env.scm: New comment on returned package.

Remove requirement that audio/video dependencies must be installed for tests

Some tests were added for running audio and video submission tests in
test_submission.py.  Unfortunately these were not skipped if these
dependencies were not installed.  This patch attempts to fix that while
leaving the tests intact.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Add python-gst to guix-env.scm

Check all tags for existence before using them

Fix bug 5401

Fix module name for `gmg alembic` command

gmg_commands.alembic attempted to import from `alembic`. On python2.7
it resulted in import from itself.

Rename alembic.py to alembic_commands.py and fix references to
gmg_commands.alembic.

Check tags for existence before using them

Closes bug 5401

Fix #5440 - Typo in blog views

Commentary on where this hack on detecting no subcommand to Alembic comes from

Fix comment ID links on blog media page

Change the comment ID behaviour and source of
user_pages/blog_media.html to match user_pages/media.html as of #5376.

Fix comment ID links on media comment report page

Change the comment ID behaviour and source of user_pages/report.html
to match user_pages/media.html as of #5376.

Add "gmg raw_alembic" command.

This allows you to dispatch to the "alembic" command line tool properly,
but properly respecting MediaGoblin's own configuration.

typo fix: Set sqlalchemy.url, not qlalchemy.url

Remove old hack to support pre-0.7.5 Alembic versions

Thanks to Jessica Tallon for pointing out this TODO and its associated
hack could be removed.

Remove version caps on sqlalchemy and alembic.

Code seems to pass fine after the cap is removed.  Whatever dependency
issues we were running into before don't seem to be an issue now.

Fix #5432 - Comment report link doens't work

This builds on work done for #5376 and associates the correct comment
ID with comment report links.

Fix #5435 - Bad comment links cause server error

This patch addresses an issue where a server error is caused by
entering a non-existent comment ID in a media URL.

Fix #5376 - Ensure links have correct ID

This ensures that links to comments have the correct ID (the
ID of the Comment object) as well as fixing deletion on reports
and fixing a few other little things. I hope this fixes the #5376
issue, though cannot reproduce so unable to confirm.

Fix #5433 - Typo in decorators

Fix #5431 - Typo in models

Fix a typo in models.py.

Fixes #5421 - Ensures Report.object_id is nullable

It seems there was a commit for a while where the migration was
making Report.object_id NOT NULL and this caused an errror when
a report deleted the associated object (media). This migrtion
checks it's nullable and if not, alters it so it is.

Migration for #5415 - I forgot it, Doh!

Fix a typo in consolidate_reports migration

Fix #5415 - Deleted comments get removed properly when tombstones

The original wrapper existed and should be been removed, this fix
now ensures the TextComment removes the Comment wrapper to prevent
the deleted (comments which are tombstones) existing.

Simply for the Notification.object_id migration

Missing perens

Fixed issue introduced in previous migration

Change Notification.object_id to be ID of Comemnt not TextComment

This shouldn't really effect much but it is a needed change for the future
this changes the Notification.object_id to be the ID of the Comment (the link
table to the comment object) rather than TextComment (the comment object itself).

This is needed as now comments can be other things, other than TextComment.

No need for python-chardet in guix-env.scm

That was *already* upstream in guix!

Email debug mode on Python 3 was printing bytestring representation for subject body

There's nothing useful about seeing b'foo\nbar\nbaz' printing to
stdout.  That's not what the user should get!

guix-env.scm: Remove python-paste and python-pastescript, add python-chardet

python-paste and python-pastescript are now part of Guix proper.
Working on getting python-chardet there as well.

Crediting iyzsong

Fix sturm (Ben Sturmfels)' attribution

Fix ascii media type for Python 3.  Fix by 宋文武 (iyzsong)

Oops, I forgot to include test_mgoblin_app_pdf.ini

Also switch "#!/usr/bin/env bash" to "#!/bin/sh" in compile-translations.sh

Add guix-env.scm to launch a Guix environment for hacking.

(Thanks to David Thompson for help on the MediaGoblin packaging, which
went into this a lot!)

Change viewitems to items

There is no viewitems in python3

do not show error message when it's not a exception

Gah, the previous patch was not enough! We cannot use text, we can only
use exception with a special attribute.

Lets return safe None for now an resolve this properly later, when we're
not in the freeze.

Catch import error when text is used as a reason instead of path

fail_error was used in import, but due to some changes text could appear
there and it caused an error.

There is little sense now to remove these text messages because they are
probably in databases already, so just ignore import errors.

Fix issue #5411 sqlite connection closes

This update changes migrations to wrap db.execute results in a list to
keep the connection from closing for sqlite migrations.

Fix issue 5422 Resend verification fails

If a user was logged in and already verified, the resend_verification
link would cause a server error. This fix addresses that by using the
correct syntax to query the username from the request.

Oh, we don't need Paste, but we do need PasteScript!

Basic explaination of how to deploy with Python 3.

Could be better, but "works" for now.

Move Ubuntu -> *buntu because of absurd trademark issues

For more context, see:
  http://joeyh.name/blog/entry/trademark_nonsense/

Removing python 2.6 junk: argparse and a 2.6 classifier

Switch from Paste for serving to Waitress

Incredibly, it looks like none of our documentation has to change taking
this route...!

Cleanup setup.py

Remove old comments and duplicate requirements from setup.py

Removed deprecated comment about wsgi environ being borked

Fix another python 3 and unicode issue

Fixing one more bytes vs string battle in Python 3

#5416: Fix tests using the FileObjectAwareFile

Upgrade sqlalchemy and sa-migrate

Our versions were too old. And not compatible with python3.

Move "/usr/bin/env bash" to simply "/bin/sh"

This makes working with Guix easier.

.iteritems() doesn't exist in Python 3, converted to .items()

Switch to #!/bin/sh (don't use "env" unless we have to)

env causes problems in GuixSD and maybe even some other places.

Committing extracted and compiled translations

Fix #5079 - tags unicity is on the slug, not the name

Signed-off-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Andrew Browning <ayleph@thisshitistemp.com>

Do not calculate processing info for anonymous user

removed debug prints, added video icon

Display type icon in thumbnails

Merge branch 'media_panel'

Prevent `dict changed during iteration` in video

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Issue #5349: Submission tests fail confusingly on missing dependency

They gave a DetachedInstanceError, despite being totally unrelated to
anything in database-land!

Fix occurence of unicode()

Fix unicode() -> six.text_type()

Change `uploader` to `actor`

Class User doesn't have field `uploader` any more, instead there
`actor`. Fix several uses of `uploader` to `actor`.

changes to BaseProcessingFail arguments usage

some fixes to the panel looks

added filtering by entry state in processing panel

included plugin from previous commit to mediagoblin.ini

added a plugin to display information about entries in processing

Conflicts:
mediagoblin/templates/mediagoblin/base.html -- resolved by using
the original file and manually adding pieces from my commit