Fixing one more bytes vs string battle in Python 3

#5416: Fix tests using the FileObjectAwareFile

Upgrade sqlalchemy and sa-migrate

Our versions were too old. And not compatible with python3.

Move "/usr/bin/env bash" to simply "/bin/sh"

This makes working with Guix easier.

.iteritems() doesn't exist in Python 3, converted to .items()

Switch to #!/bin/sh (don't use "env" unless we have to)

env causes problems in GuixSD and maybe even some other places.

Committing extracted and compiled translations

Fix #5079 - tags unicity is on the slug, not the name

Signed-off-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Andrew Browning <ayleph@thisshitistemp.com>

Do not calculate processing info for anonymous user

removed debug prints, added video icon

Display type icon in thumbnails

Merge branch 'media_panel'

Prevent `dict changed during iteration` in video

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Issue #5349: Submission tests fail confusingly on missing dependency

They gave a DetachedInstanceError, despite being totally unrelated to
anything in database-land!

Fix occurence of unicode()

Fix unicode() -> six.text_type()

Change `uploader` to `actor`

Class User doesn't have field `uploader` any more, instead there
`actor`. Fix several uses of `uploader` to `actor`.

changes to BaseProcessingFail arguments usage

some fixes to the panel looks

added filtering by entry state in processing panel

included plugin from previous commit to mediagoblin.ini

added a plugin to display information about entries in processing

Conflicts:
mediagoblin/templates/mediagoblin/base.html -- resolved by using
the original file and manually adding pieces from my commit

changed the way we save information about exceptions

moved styles to a css file; more fixes to templates

removed h2 from media panel

removed querying of unused metrics in media panel

processing panel new looks

Fix #5408 - ignore non-int offset in api feed

In the same fashion limit=BAD fallsback to the default value,
fallback to zero when offset=WORSE.

Also add test coverage verifying limit/offset do the right thing.

Signed-off-by: Loic Dachary <loic@dachary.org>

Fix #947 - media_type configuration files location

Document the location of the config_spec.ini files for media_types.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Make freesound compatible with python3

Freesound is a lib used for audio processing. Unfortunately, it doesn't
work with python3.

It lives in extlib, so we don't own the code. But, since the patch is
pretty trivial, it was decided to merge it anyway and propose the fix to
upstream. Which was done in https://github.com/MTG/freesound/pull/700 .
Also, a bugreport was opened to use upstream version instead of our
local, when it gets merged, ticket 5403.

Issue #5394: Wrong url for forgot_password in basic_auth plugin

Fix by jerome.  Thank you!

Pass filename instead of file object when calling PIL.Image.save()

Fix an occurence of `print ...` to `print(...)`

Fix #1096 - allow - in usernames

Signed-off-by: Loic Dachary <loic@dachary.org>

trac#5397: Allow decode_request to parse content-type headers with extra options.

It previously parsed "Content-Type: application/x-www-form-urlencoded", but not "Content-Type: application/x-www-form-urlencoded; charset=utf-8".

Fix #5398 and #5395 - Fix tests failing due to problem creating connection for alembic

For some reason the alembic connection wasn't seeing any tables that existed
however the existing connection works well and we shouldn't be creating a brand
new one when we have one ready to use. I've used a little bit of a hack due to our
old version of alembic.

After 0.7.5 of alembic it offers a `Config.attributes` dictionary which is designed to
allow you to pass your connection/engine/whatever to the env.py config script so you're
not required to create new ones. As we're on an older version I just create a dictionary
with the same name and use it as otherwise documented. It seems this is the suggested
fix for #5395 and it fixes #5398 too.

Fix #5390 - Create migration to delete Notifications and fix Report

When a user deleted media or other objects any notificationn objects or reports
would cause errors as the object doesn't exist anymore. This now removes them or
sets them to None as expected by the code. This also adds some code to the base
deletion code to make sure this happens when an object is deleted.

Fix #1099 - remove x mode from ini file

Signed-off-by: Loic Dachary <loic@dachary.org>

Fix #5359 - unpriviledged -> unprivileged

Use inspect_table inplace of redefining them all

Just like we would have in sqlalchemy-migration inspect_table works and
is better than constantly redefining a table in the migration. This switches
the migration to use that method.

Fix #5391 - Alembic migrations would only work for SQLite

The database connection was being set in a alembic.ini config file, if the user
had specified postgres the "sqlite" connection URL in alembic.ini would override
that. We probably should look into this more so i've opened #5395.

Fix issue 5366 Update blog views

This commit updates blog views to be compatible with recent database
migrations.

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5382 - Add migration and fix so tombstones are removed from collections

When an item is deleted it should be removed from all collections, this commit
makes that happen. It's got two changes:

1. Adds the code so when an object is soft deleted, it's automatically removed from
   all collection items
2. Add a migration to fix this issue for those who have tombstones (Graveyard objects)
   in their collections because of this bug.

This commit requires you to run a migration

Fix #5315 - use `env` in shebangs

Use six.itervalues() in delete_media_files

Adding Tom Fay to the AUTHORS file

Add a TODO to rename run_all_migrations to run_legacy_migrations

Initial alembic migration to base other migrations on

Use this migration as a parent for yours.

Enable alembic as the main tool for migrations

Enable alembic for all migrations and limit the max number of
sqlalchemy-migration migration. All new migrations must now be in
Alembic!

Fix various style issues

Sorry, cannot look at them without urge to fix

Add a comment when we do / don't add collections dropdown

Otherwise that "del submit_form.collection" might be confusing :)

Add test to check that an activity is created when a collection was chosen.

Add collection drop down to submit page.

Do not require python3.3 explicitely

It's easier to say "use python3.3+" rather than prevent usage of earlier
versions programmatically in autoconf.

Uncap Paste

Paste was capped to 1.9.9 because 2.0 broke us. Now Paste 2.0.x was released
and it doesn't break us any more. Closes bug 5317.

Add workaround for incompilable Interlingua locale

For now we cannot compile Interlingua (ia) locale; please see issue
1070 for details.

Fix issue 5367 Edit view updates

This commit fixes issue 5367 by updating the edit view to be compatible
with recent db migrations.

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix issue 5371 broken collection atom feeds

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5369 - Broken activities cause issues in migrations

This fixes a few bugs in previous migrations and then also introduces a new
migration for those who had run the previous migrations without encountering
the bugs to ensure that the database is in the same state as those who ran it
after the bug fixes introduced in this commit.

The commit also ensures that all activities are valid, they should be but they
might not be so checks, from now on we should be able to assume that all activities
will always be valid.

Point to the "Libre Browsers Libre Formats" page on the LibrePlanet wiki

Remove .tx/config as we're no longer using Transifex

Fix a exception db closed exception in migrations

Some sqlite migrations were failing due to some problems with sqlite. A
work around has been created for these however it does involve loading lots
of data into memory. If you have a large database you should consider trying
to move to postgres.

Fix migrations of activity intermediators

There was a problem where it was assuming the tablenames are the same
in master as they always were and that isn't the case. This would cause
it to raise an exception when trying to look up a table which didn't exist.
This fixes that by hardcoding the old tablenames in for this migration.

Fix #5368 - Improve test efficiancy

There were a number of tests where lots of models where being iterated through
and then at the end committing them. The problem is all the changes had to be
kept in memory or on disk somewhere before they were commit to the database. This
fix commits each change as it's being made, allowing resources to be freed and fixing
some of the inefficiencies

Merge branch 'stable'

Work around pbutils import warning bug (5066)

Fix typo in VideoData docstring

Setting 0.8.2.dev in configure.ac as well

Setting version to v0.8.2.dev

Fixing typo (thanks breton)

0.8.1 release notes

Merge branch 'stable'

Fix security issue in OAuth verifier validation

Merge branch 'stable'

Conflicts:
mediagoblin/i18n/templates/en/mediagoblin.po
mediagoblin/plugins/archivalook/tools.py

Fix bug on the OAuth client deauthorization page

An exception was raised when a user tried to go to the authroization page
this occured when we changed the field names on the models from "user" to
actor. This patch corrects the query and resolves the error.

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

(cherry picked from commit 564a48e018bcd786aa32b232cb7216be3ef3fb5e)

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

Kludgey documentation fix so that python 2 does not break with flup

See also Issue #5373

Add "Add media" button on home page when no media is present.

This is an addition to the button hidden in the top toolbar.

Fix issue #5372: test_comment_notification fails with werkzeug 0.11 or newer

Formerly like:
   chris commented on your post (​http://localhost:80/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

With werkzeug 0.11.0 or higher:
    chris commented on your post (​http://localhost/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

Easy enough just to be flexible.

Fix issue 983 PDF UnicodeDecodeError

Parse PDF lines as unicode to prevent UnicodeDecodeError when a
non-ASCII character is encountered.

Fix #5363 - Collections don't serialize correctly

Added test for #5356 - Read someone else's feed

This adds a test and improves a previous test for the ability to read
someone elses feed. Previously it was not possible however this has
since been patched and this test checks for that.

Allow API client to GET another user's outbox

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5354 & #5355 - Fix Graveyard.serialize

Graveyard.serialize raised an exception as the deleted datetime
objects where not being converted to strings for json encoding. It
also didn't deal with the case when there was an actor, it now calls
the actor's serialize method as it should.

Thanks to Alyeph who provided the patches for both of these.

Use urljoin to create proper feed media URLs

Fix for issue 5070 gst incomplete file

Seek tmp_media_file to 0 before attempting to discover the file type.
This prevents the following error when discovering mp4 video files.

"gst-stream-error-quark: This file is incomplete and cannot be played"

Fix add collection view for new schema

Fix minor grammatical error 'settings' -> 'setting'.

Remove <br/> from safe string indicating that CSRF cooking is missing.

trac#687: Add unit tests for `redirect` and `redirect_obj`.

Switch to webtest >= 2.0.18

trac#665: Upgrade to WebTest 2.0.18 and fix broken test `test_csrf_cookie_set`.

Test was failing due to API change in WebTest around accessing cookies set in the test client. These are now in `test_app.cookies`.

While there are currently 48 other tests failing, I've verified that before and after this change that the same number fail. I've also checked that no other tests use the old API for accessing test client cookies.

I've pinned to version 2.0.18. My understanding is that it's generally a good idea to pin to a specific version where possible to avoid the "why has this suddenly broken" type bugs. This also seems appropriate since WebTest appears to be very stable.

Prevent unhandled exception on non-existant user.

These changes bring `makeadmin` and `changepw` in-line with the approach used in `deleteuser`.

I've also made the error messages more consistent: list the username and full sentences.

Merge branch 'comments'

Comment changes for federation

This adds a new Comment link table that is used to link between some
object and then the comment object, which can be more or less any
object in Mediagoblin. The MediaComment has been renamed to
TextComment as that more aptly describes what it is. There is
migrations for these changes.

There is also the conslidation of the Report tables into a single
Report table, the same with the Notification objects. This is because
both of them split out MediaEntry and Comment versions into their own
polymorphic versions from a base, this is no longer a meaningful
distinction as comments can be anything.

Fix #5353 - Bug in OAuth which referenced "user"

There was a recent change in 0f3bf8d where several names which were
used to refer the actor where renamed to the standard "actor"
property name. There were some places in the OAuth decorator and the
OAuth views where the old names were still referred. This fixes that.

Add public_id fixes throughout the code

This adds several things, mainly code which checks for the public id and
if it doesn't exist generating it where it can. This is to because we
need to keep the public_id to be able to effectively soft delete models.

This also adds a public_id field to the Activity along with a migration.

Add Graveyard model

This adds the Graveyard model which is used when a model is deleted, it
stores the important "shell" information on the model so it can
hard-delete the real object. It also remaps the GenericModelReference
references to the new Graveyard model.

This also moves the soft deletion setting from __model_args__ to
"deletion_mode" on the model.