Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Make freesound compatible with python3

Freesound is a lib used for audio processing. Unfortunately, it doesn't
work with python3.

It lives in extlib, so we don't own the code. But, since the patch is
pretty trivial, it was decided to merge it anyway and propose the fix to
upstream. Which was done in https://github.com/MTG/freesound/pull/700 .
Also, a bugreport was opened to use upstream version instead of our
local, when it gets merged, ticket 5403.

Issue #5394: Wrong url for forgot_password in basic_auth plugin

Fix by jerome.  Thank you!

Pass filename instead of file object when calling PIL.Image.save()

Fix an occurence of `print ...` to `print(...)`

Fix #1096 - allow - in usernames

Signed-off-by: Loic Dachary <loic@dachary.org>

trac#5397: Allow decode_request to parse content-type headers with extra options.

It previously parsed "Content-Type: application/x-www-form-urlencoded", but not "Content-Type: application/x-www-form-urlencoded; charset=utf-8".

Fix #5398 and #5395 - Fix tests failing due to problem creating connection for alembic

For some reason the alembic connection wasn't seeing any tables that existed
however the existing connection works well and we shouldn't be creating a brand
new one when we have one ready to use. I've used a little bit of a hack due to our
old version of alembic.

After 0.7.5 of alembic it offers a `Config.attributes` dictionary which is designed to
allow you to pass your connection/engine/whatever to the env.py config script so you're
not required to create new ones. As we're on an older version I just create a dictionary
with the same name and use it as otherwise documented. It seems this is the suggested
fix for #5395 and it fixes #5398 too.

Fix #5390 - Create migration to delete Notifications and fix Report

When a user deleted media or other objects any notificationn objects or reports
would cause errors as the object doesn't exist anymore. This now removes them or
sets them to None as expected by the code. This also adds some code to the base
deletion code to make sure this happens when an object is deleted.

Fix #1099 - remove x mode from ini file

Signed-off-by: Loic Dachary <loic@dachary.org>

Fix #5359 - unpriviledged -> unprivileged

Use inspect_table inplace of redefining them all

Just like we would have in sqlalchemy-migration inspect_table works and
is better than constantly redefining a table in the migration. This switches
the migration to use that method.

Fix #5391 - Alembic migrations would only work for SQLite

The database connection was being set in a alembic.ini config file, if the user
had specified postgres the "sqlite" connection URL in alembic.ini would override
that. We probably should look into this more so i've opened #5395.

Fix issue 5366 Update blog views

This commit updates blog views to be compatible with recent database
migrations.

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5382 - Add migration and fix so tombstones are removed from collections

When an item is deleted it should be removed from all collections, this commit
makes that happen. It's got two changes:

1. Adds the code so when an object is soft deleted, it's automatically removed from
   all collection items
2. Add a migration to fix this issue for those who have tombstones (Graveyard objects)
   in their collections because of this bug.

This commit requires you to run a migration

Fix #5315 - use `env` in shebangs

Use six.itervalues() in delete_media_files

Adding Tom Fay to the AUTHORS file

Add a TODO to rename run_all_migrations to run_legacy_migrations

Initial alembic migration to base other migrations on

Use this migration as a parent for yours.

Enable alembic as the main tool for migrations

Enable alembic for all migrations and limit the max number of
sqlalchemy-migration migration. All new migrations must now be in
Alembic!

Fix various style issues

Sorry, cannot look at them without urge to fix

Add a comment when we do / don't add collections dropdown

Otherwise that "del submit_form.collection" might be confusing :)

Add test to check that an activity is created when a collection was chosen.

Add collection drop down to submit page.

Do not require python3.3 explicitely

It's easier to say "use python3.3+" rather than prevent usage of earlier
versions programmatically in autoconf.

Uncap Paste

Paste was capped to 1.9.9 because 2.0 broke us. Now Paste 2.0.x was released
and it doesn't break us any more. Closes bug 5317.

Add workaround for incompilable Interlingua locale

For now we cannot compile Interlingua (ia) locale; please see issue
1070 for details.

Fix issue 5367 Edit view updates

This commit fixes issue 5367 by updating the edit view to be compatible
with recent db migrations.

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix issue 5371 broken collection atom feeds

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5369 - Broken activities cause issues in migrations

This fixes a few bugs in previous migrations and then also introduces a new
migration for those who had run the previous migrations without encountering
the bugs to ensure that the database is in the same state as those who ran it
after the bug fixes introduced in this commit.

The commit also ensures that all activities are valid, they should be but they
might not be so checks, from now on we should be able to assume that all activities
will always be valid.

Point to the "Libre Browsers Libre Formats" page on the LibrePlanet wiki

Remove .tx/config as we're no longer using Transifex

Fix a exception db closed exception in migrations

Some sqlite migrations were failing due to some problems with sqlite. A
work around has been created for these however it does involve loading lots
of data into memory. If you have a large database you should consider trying
to move to postgres.

Fix migrations of activity intermediators

There was a problem where it was assuming the tablenames are the same
in master as they always were and that isn't the case. This would cause
it to raise an exception when trying to look up a table which didn't exist.
This fixes that by hardcoding the old tablenames in for this migration.

Fix #5368 - Improve test efficiancy

There were a number of tests where lots of models where being iterated through
and then at the end committing them. The problem is all the changes had to be
kept in memory or on disk somewhere before they were commit to the database. This
fix commits each change as it's being made, allowing resources to be freed and fixing
some of the inefficiencies

Merge branch 'stable'

Work around pbutils import warning bug (5066)

Fix typo in VideoData docstring

Setting 0.8.2.dev in configure.ac as well

Setting version to v0.8.2.dev

Fixing typo (thanks breton)

0.8.1 release notes

Merge branch 'stable'

Fix security issue in OAuth verifier validation

Merge branch 'stable'

Conflicts:
mediagoblin/i18n/templates/en/mediagoblin.po
mediagoblin/plugins/archivalook/tools.py

Fix bug on the OAuth client deauthorization page

An exception was raised when a user tried to go to the authroization page
this occured when we changed the field names on the models from "user" to
actor. This patch corrects the query and resolves the error.

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

(cherry picked from commit 564a48e018bcd786aa32b232cb7216be3ef3fb5e)

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

Kludgey documentation fix so that python 2 does not break with flup

See also Issue #5373

Add "Add media" button on home page when no media is present.

This is an addition to the button hidden in the top toolbar.

Fix issue #5372: test_comment_notification fails with werkzeug 0.11 or newer

Formerly like:
   chris commented on your post (​http://localhost:80/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

With werkzeug 0.11.0 or higher:
    chris commented on your post (​http://localhost/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

Easy enough just to be flexible.

Fix issue 983 PDF UnicodeDecodeError

Parse PDF lines as unicode to prevent UnicodeDecodeError when a
non-ASCII character is encountered.

Fix #5363 - Collections don't serialize correctly

Added test for #5356 - Read someone else's feed

This adds a test and improves a previous test for the ability to read
someone elses feed. Previously it was not possible however this has
since been patched and this test checks for that.

Allow API client to GET another user's outbox

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5354 & #5355 - Fix Graveyard.serialize

Graveyard.serialize raised an exception as the deleted datetime
objects where not being converted to strings for json encoding. It
also didn't deal with the case when there was an actor, it now calls
the actor's serialize method as it should.

Thanks to Alyeph who provided the patches for both of these.

Use urljoin to create proper feed media URLs

Fix for issue 5070 gst incomplete file

Seek tmp_media_file to 0 before attempting to discover the file type.
This prevents the following error when discovering mp4 video files.

"gst-stream-error-quark: This file is incomplete and cannot be played"

Fix add collection view for new schema

Fix minor grammatical error 'settings' -> 'setting'.

Remove <br/> from safe string indicating that CSRF cooking is missing.

trac#687: Add unit tests for `redirect` and `redirect_obj`.

Switch to webtest >= 2.0.18

trac#665: Upgrade to WebTest 2.0.18 and fix broken test `test_csrf_cookie_set`.

Test was failing due to API change in WebTest around accessing cookies set in the test client. These are now in `test_app.cookies`.

While there are currently 48 other tests failing, I've verified that before and after this change that the same number fail. I've also checked that no other tests use the old API for accessing test client cookies.

I've pinned to version 2.0.18. My understanding is that it's generally a good idea to pin to a specific version where possible to avoid the "why has this suddenly broken" type bugs. This also seems appropriate since WebTest appears to be very stable.

Prevent unhandled exception on non-existant user.

These changes bring `makeadmin` and `changepw` in-line with the approach used in `deleteuser`.

I've also made the error messages more consistent: list the username and full sentences.

Merge branch 'comments'

Comment changes for federation

This adds a new Comment link table that is used to link between some
object and then the comment object, which can be more or less any
object in Mediagoblin. The MediaComment has been renamed to
TextComment as that more aptly describes what it is. There is
migrations for these changes.

There is also the conslidation of the Report tables into a single
Report table, the same with the Notification objects. This is because
both of them split out MediaEntry and Comment versions into their own
polymorphic versions from a base, this is no longer a meaningful
distinction as comments can be anything.

Fix #5353 - Bug in OAuth which referenced "user"

There was a recent change in 0f3bf8d where several names which were
used to refer the actor where renamed to the standard "actor"
property name. There were some places in the OAuth decorator and the
OAuth views where the old names were still referred. This fixes that.

Add public_id fixes throughout the code

This adds several things, mainly code which checks for the public id and
if it doesn't exist generating it where it can. This is to because we
need to keep the public_id to be able to effectively soft delete models.

This also adds a public_id field to the Activity along with a migration.

Add Graveyard model

This adds the Graveyard model which is used when a model is deleted, it
stores the important "shell" information on the model so it can
hard-delete the real object. It also remaps the GenericModelReference
references to the new Graveyard model.

This also moves the soft deletion setting from __model_args__ to
"deletion_mode" on the model.

Add the __model_args__ deletion code

This adds the "deleted" fields to the models as well as a new
__model_args__ section whcih supports the option for changing the
deletion type. Deletion is now handled by choosing a deletion method
based on the __model_args__["deletion"] setting, for example if it's
soft deletion it will call Model.soft_delete()

Collection changes and migration for federation

- Adds a "type" column to the Collection object and allows the
CollectionItem model to contain any object.
- Changes "items" to "num_items" as per TODO
- Renames "uploader", "creator" and "user" to a common "actor" in most places

Fix bugs with the exifread library update

- As of version 2.1.2 of exifread the 90 CW and 90 CCW values were
  swapped, this bug is now fixed however our test data had those values
  swapped too. I have fixed that.

- I also noticed that I had different orientation values, this was
  noticed and fixed for some other differing values in commit ccca39f1
  when it was decided we'll add values which were noticed on different
  platforms.

Fix #994: Also set self.data when no change made to URL.

This partially reverts 2a1082e3

Use StringField.process_formdata() if valuelist is empty.

Fix #994: Don't require users to type the website URL scheme when updating profile.

Adds 'http://' if no scheme is provided. Eg. If you enter
'www.example.com', this will be updated to 'http://www.example.com'.

Issue #815: Replace two non-ASCII curly single quotes with straight quotes.

I don't think there's necessarily anything wrong with using non-ASCII
characters, since UTF-8 is basically the de facto standard. There's no
reason to mix a small number of curly quotes into a configuration file
though, so I've replaced them for consistency.

Fix some unit tests and bugs

This fixes a lot of the issues with the LocalUser changes that were
merged recently. There was a problem where the attributes of LocalUser
were not being eagerly loaded and because the Session was detached an
exception was being raised when they were accessed.

This also fixes some typo's which were introduced.

Finally this adds a temporary fix for a potential SQLAlchemy bug, this
is a bug where doing:

    User.query.filter(LocalUser.username == "some_username").first()

does NOT yeild a user with the username "some_username" but all users
on the site. The temp fix is to just query the LocalUser, this should
be resolved when bug is confirmed and fixed upstream.

Fix #5344 - OAuth NotImplemented exception

This introduces a migration which adds a dummy Client, RequestToken
and AccessToken. These are used when an invalid request comes in,
instead of bailing early, it needs dummy data to prevent timing
attacks.

This then implements the methods which get the IDs of the dummy
objects. If these are changed in the future a migration which checks
for the previous dummy object should be created and updates them to
reflect the new IDs/tokens.

Fix #1066 - OAuth Invalid signature error

It seems that the GET params on a URL should be included when
one signs the request. Mediagoblin was just using the base URL
without them. This should fix that.

Fix serialization after model changes

After the recent model changes there were some bugs which were
introduced into the serialization methods of the models. This commit
fixes those issues.

Change structure of MediaEntry and add migration

This makes the changes needed for federating MediaEntry objects as well
as adding the migration and necessary methods to get the public_id just
in time (JIT).

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add a no_referrer setting to prevent browsers leaking information.

Fix urlparse import in tools/routing.py

urlparse is already a function, so we don't need to specify
a module name.

Refs #5339

Fix urlparse import in tools/routing.py

urlparse is already a function, so we don't need to specify
a module name.

Refs #5339

Add the user models to the MODELS list

This adds the two new user models (LocalUser and RemoteUser) to the
MODELS list that is in models.py. This stops the strange bug that occurs
if you migrate a fresh database, the two models don't exist however
migrating an existing database would create them as the migrations
exist.

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add polymorphic properties to User

This adds the ability to search for any user based on the generic
User case and be given back the specific LocalUser or RemoteUser.

This will require any code using the model to look which attributes
they are searching on and specify the specific User model they are
on if they're not on the generic User model. This will also require
new users to be created with LocalUser.

Add LocalUser and RemoteUser and migration

Regenerate po file after 8e832f84597bd1505f23f4abd4eef96ce12d3822

Fix typos reported in #1102

Regenerate po file after 8e832f84597bd1505f23f4abd4eef96ce12d3822

Fix typos reported in #1102

Return non-zero exit code if the command cannot be completed successfully.

Fixes #5084

Pin mock 1.0.1 in Python 2 for now.

mock recently dropped Python 2.6 support and then
re-introduced it in its latest release (however,
it's a bit unstable right now).

I think at this point, we can be more cautious
and just use mock==1.0.1.

Pin mock 1.0.1 in Python 2 for now.

mock recently dropped Python 2.6 support and then
re-introduced it in its latest release (however,
it's a bit unstable right now).

I think at this point, we can be more cautious
and just use mock==1.0.1.

Change all unicode() calls with six.text_type().

Fixes #5329.

Change all unicode() calls with six.text_type().

Fixes #5329.