Only run sqlalchemy-migrate migrations if we have to; separate foundations

The goal is to get things to the point where Alembic can run on its own
for new databases and initialize the whole database on its own.  There
are risks to not doing so, see #5413 for details.

There's a lot more here that could removed or cleaned up once
sqlalchemy-migrate is *completely* removed in the future.

* mediagoblin/db/migration_tools.py (MigrationManager.foundations):
  Removed attribute.
  (MigrationManager.populate_table_foundations): Removed method.
  (MigrationManager.init_or_migrate): Removed call to deprecated method.
  (populate_table_foundations): New function, refactored from former
  MigrationManager method of same name.

* mediagoblin/gmg_commands/dbupdate.py: Import populate_table_foundations.
  (DatabaseData.foundations): Remove attribute.
  (DatabaseData.make_migration_manager): Adjust instantiation of
  MigrationManager.
  (gather_database_data): Move out the work of building up foundations data.
  (run_foundations): New method, incorporating logic for gathering and
  running foundations which was previously spread across other
  functions and methods.
  (run_alembic_migrations): Remove deprecated comment.
  (run_dbupdate): Only run sqlalchemy migrations if we have to.
  Also run run_foundations if we are setting up this database for the
  first time.
  (sqam_migrations_to_run): New method.

Switch initial_revision alembic migration to make tables if they aren't there

This is a necessary step towards deprecating sqlalchemy-migrate.

* mediagoblin/db/migrations/versions/52bf0ccbedc1_initial_revision.py
  (upgrade): Update for adding tables.  Mostly generated via Alembic's
  autogenerate tools.
  (downgrade): Added a comment.

Set target_metadata in alembic's env.py to Base.metadata

This allows us to make use of automatically generated migrations, at
least for core.

* mediagoblin/db/migrations/env.py (target_metadata): Switch to gmg's
  Base.metadata.

Update out script.py mako template to support branch_labels

This is important (probably) for long-running plugin branches.

* mediagoblin/db/migrations/script.py.mako: Updated to upstream
  Alembic version of this file.

dbupdate updates to use plugin migrations if available

This makes use of the recently added "build_alembic_config" tool and
removes AlembicMigrationManager.

* mediagoblin/db/migration_tools.py (AlembicMigrationManager): Removed.
* mediagoblin/gmg_commands/dbupdate.py (run_alembic_migrations):
  Adjusted to use recently added build_alembic_config tool.

Ignore .eggs/ directory

Add build_alembic_config, use it to add plugin migrations to alembic config

guix-env.scm: Comment on python-numpy pulling in texlive

textlive-texmf is currently a dependency of texlive in Guix, and is
very large.  Users may want to know and disable this dependency, if
they can bear limiting the media types they are developing with.

* guix-env.scm: New comment on returned package.

Remove requirement that audio/video dependencies must be installed for tests

Some tests were added for running audio and video submission tests in
test_submission.py.  Unfortunately these were not skipped if these
dependencies were not installed.  This patch attempts to fix that while
leaving the tests intact.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Add python-gst to guix-env.scm

Check all tags for existence before using them

Fix bug 5401

Fix module name for `gmg alembic` command

gmg_commands.alembic attempted to import from `alembic`. On python2.7
it resulted in import from itself.

Rename alembic.py to alembic_commands.py and fix references to
gmg_commands.alembic.

Check tags for existence before using them

Closes bug 5401

Fix #5440 - Typo in blog views

Commentary on where this hack on detecting no subcommand to Alembic comes from

Fix comment ID links on blog media page

Change the comment ID behaviour and source of
user_pages/blog_media.html to match user_pages/media.html as of #5376.

Fix comment ID links on media comment report page

Change the comment ID behaviour and source of user_pages/report.html
to match user_pages/media.html as of #5376.

Add "gmg raw_alembic" command.

This allows you to dispatch to the "alembic" command line tool properly,
but properly respecting MediaGoblin's own configuration.

typo fix: Set sqlalchemy.url, not qlalchemy.url

Remove old hack to support pre-0.7.5 Alembic versions

Thanks to Jessica Tallon for pointing out this TODO and its associated
hack could be removed.

Remove version caps on sqlalchemy and alembic.

Code seems to pass fine after the cap is removed.  Whatever dependency
issues we were running into before don't seem to be an issue now.

Fix #5432 - Comment report link doens't work

This builds on work done for #5376 and associates the correct comment
ID with comment report links.

Fix #5435 - Bad comment links cause server error

This patch addresses an issue where a server error is caused by
entering a non-existent comment ID in a media URL.

Fix #5376 - Ensure links have correct ID

This ensures that links to comments have the correct ID (the
ID of the Comment object) as well as fixing deletion on reports
and fixing a few other little things. I hope this fixes the #5376
issue, though cannot reproduce so unable to confirm.

Fix #5433 - Typo in decorators

Fix #5431 - Typo in models

Fix a typo in models.py.

Fixes #5421 - Ensures Report.object_id is nullable

It seems there was a commit for a while where the migration was
making Report.object_id NOT NULL and this caused an errror when
a report deleted the associated object (media). This migrtion
checks it's nullable and if not, alters it so it is.

Migration for #5415 - I forgot it, Doh!

Fix a typo in consolidate_reports migration

Fix #5415 - Deleted comments get removed properly when tombstones

The original wrapper existed and should be been removed, this fix
now ensures the TextComment removes the Comment wrapper to prevent
the deleted (comments which are tombstones) existing.

Simply for the Notification.object_id migration

Missing perens

Fixed issue introduced in previous migration

Change Notification.object_id to be ID of Comemnt not TextComment

This shouldn't really effect much but it is a needed change for the future
this changes the Notification.object_id to be the ID of the Comment (the link
table to the comment object) rather than TextComment (the comment object itself).

This is needed as now comments can be other things, other than TextComment.

No need for python-chardet in guix-env.scm

That was *already* upstream in guix!

Email debug mode on Python 3 was printing bytestring representation for subject body

There's nothing useful about seeing b'foo\nbar\nbaz' printing to
stdout.  That's not what the user should get!

guix-env.scm: Remove python-paste and python-pastescript, add python-chardet

python-paste and python-pastescript are now part of Guix proper.
Working on getting python-chardet there as well.

Crediting iyzsong

Fix sturm (Ben Sturmfels)' attribution

Fix ascii media type for Python 3.  Fix by 宋文武 (iyzsong)

Oops, I forgot to include test_mgoblin_app_pdf.ini

Also switch "#!/usr/bin/env bash" to "#!/bin/sh" in compile-translations.sh

Add guix-env.scm to launch a Guix environment for hacking.

(Thanks to David Thompson for help on the MediaGoblin packaging, which
went into this a lot!)

Change viewitems to items

There is no viewitems in python3

do not show error message when it's not a exception

Gah, the previous patch was not enough! We cannot use text, we can only
use exception with a special attribute.

Lets return safe None for now an resolve this properly later, when we're
not in the freeze.

Catch import error when text is used as a reason instead of path

fail_error was used in import, but due to some changes text could appear
there and it caused an error.

There is little sense now to remove these text messages because they are
probably in databases already, so just ignore import errors.

Fix issue #5411 sqlite connection closes

This update changes migrations to wrap db.execute results in a list to
keep the connection from closing for sqlite migrations.

Fix issue 5422 Resend verification fails

If a user was logged in and already verified, the resend_verification
link would cause a server error. This fix addresses that by using the
correct syntax to query the username from the request.

Oh, we don't need Paste, but we do need PasteScript!

Basic explaination of how to deploy with Python 3.

Could be better, but "works" for now.

Move Ubuntu -> *buntu because of absurd trademark issues

For more context, see:
  http://joeyh.name/blog/entry/trademark_nonsense/

Removing python 2.6 junk: argparse and a 2.6 classifier

Switch from Paste for serving to Waitress

Incredibly, it looks like none of our documentation has to change taking
this route...!

Cleanup setup.py

Remove old comments and duplicate requirements from setup.py

Removed deprecated comment about wsgi environ being borked

Fix another python 3 and unicode issue

Fixing one more bytes vs string battle in Python 3

#5416: Fix tests using the FileObjectAwareFile

Upgrade sqlalchemy and sa-migrate

Our versions were too old. And not compatible with python3.

Move "/usr/bin/env bash" to simply "/bin/sh"

This makes working with Guix easier.

.iteritems() doesn't exist in Python 3, converted to .items()

Switch to #!/bin/sh (don't use "env" unless we have to)

env causes problems in GuixSD and maybe even some other places.

Committing extracted and compiled translations

Fix #5079 - tags unicity is on the slug, not the name

Signed-off-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Andrew Browning <ayleph@thisshitistemp.com>

Do not calculate processing info for anonymous user

removed debug prints, added video icon

Display type icon in thumbnails

Merge branch 'media_panel'

Prevent `dict changed during iteration` in video

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Issue #5349: Submission tests fail confusingly on missing dependency

They gave a DetachedInstanceError, despite being totally unrelated to
anything in database-land!

Fix occurence of unicode()

Fix unicode() -> six.text_type()

Change `uploader` to `actor`

Class User doesn't have field `uploader` any more, instead there
`actor`. Fix several uses of `uploader` to `actor`.

changes to BaseProcessingFail arguments usage

some fixes to the panel looks

added filtering by entry state in processing panel

included plugin from previous commit to mediagoblin.ini

added a plugin to display information about entries in processing

Conflicts:
mediagoblin/templates/mediagoblin/base.html -- resolved by using
the original file and manually adding pieces from my commit

changed the way we save information about exceptions

moved styles to a css file; more fixes to templates

removed h2 from media panel

removed querying of unused metrics in media panel

processing panel new looks

Fix #5408 - ignore non-int offset in api feed

In the same fashion limit=BAD fallsback to the default value,
fallback to zero when offset=WORSE.

Also add test coverage verifying limit/offset do the right thing.

Signed-off-by: Loic Dachary <loic@dachary.org>

Fix #947 - media_type configuration files location

Document the location of the config_spec.ini files for media_types.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Make freesound compatible with python3

Freesound is a lib used for audio processing. Unfortunately, it doesn't
work with python3.

It lives in extlib, so we don't own the code. But, since the patch is
pretty trivial, it was decided to merge it anyway and propose the fix to
upstream. Which was done in https://github.com/MTG/freesound/pull/700 .
Also, a bugreport was opened to use upstream version instead of our
local, when it gets merged, ticket 5403.

Issue #5394: Wrong url for forgot_password in basic_auth plugin

Fix by jerome.  Thank you!

Pass filename instead of file object when calling PIL.Image.save()

Fix an occurence of `print ...` to `print(...)`

Fix #1096 - allow - in usernames

Signed-off-by: Loic Dachary <loic@dachary.org>

trac#5397: Allow decode_request to parse content-type headers with extra options.

It previously parsed "Content-Type: application/x-www-form-urlencoded", but not "Content-Type: application/x-www-form-urlencoded; charset=utf-8".

Fix #5398 and #5395 - Fix tests failing due to problem creating connection for alembic

For some reason the alembic connection wasn't seeing any tables that existed
however the existing connection works well and we shouldn't be creating a brand
new one when we have one ready to use. I've used a little bit of a hack due to our
old version of alembic.

After 0.7.5 of alembic it offers a `Config.attributes` dictionary which is designed to
allow you to pass your connection/engine/whatever to the env.py config script so you're
not required to create new ones. As we're on an older version I just create a dictionary
with the same name and use it as otherwise documented. It seems this is the suggested
fix for #5395 and it fixes #5398 too.

Fix #5390 - Create migration to delete Notifications and fix Report

When a user deleted media or other objects any notificationn objects or reports
would cause errors as the object doesn't exist anymore. This now removes them or
sets them to None as expected by the code. This also adds some code to the base
deletion code to make sure this happens when an object is deleted.

Fix #1099 - remove x mode from ini file

Signed-off-by: Loic Dachary <loic@dachary.org>

Fix #5359 - unpriviledged -> unprivileged

Use inspect_table inplace of redefining them all

Just like we would have in sqlalchemy-migration inspect_table works and
is better than constantly redefining a table in the migration. This switches
the migration to use that method.

Fix #5391 - Alembic migrations would only work for SQLite

The database connection was being set in a alembic.ini config file, if the user
had specified postgres the "sqlite" connection URL in alembic.ini would override
that. We probably should look into this more so i've opened #5395.

Fix issue 5366 Update blog views

This commit updates blog views to be compatible with recent database
migrations.

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>