Fix #5369 - Broken activities cause issues in migrations

This fixes a few bugs in previous migrations and then also introduces a new
migration for those who had run the previous migrations without encountering
the bugs to ensure that the database is in the same state as those who ran it
after the bug fixes introduced in this commit.

The commit also ensures that all activities are valid, they should be but they
might not be so checks, from now on we should be able to assume that all activities
will always be valid.

Point to the "Libre Browsers Libre Formats" page on the LibrePlanet wiki

Remove .tx/config as we're no longer using Transifex

Fix a exception db closed exception in migrations

Some sqlite migrations were failing due to some problems with sqlite. A
work around has been created for these however it does involve loading lots
of data into memory. If you have a large database you should consider trying
to move to postgres.

Fix migrations of activity intermediators

There was a problem where it was assuming the tablenames are the same
in master as they always were and that isn't the case. This would cause
it to raise an exception when trying to look up a table which didn't exist.
This fixes that by hardcoding the old tablenames in for this migration.

Fix #5368 - Improve test efficiancy

There were a number of tests where lots of models where being iterated through
and then at the end committing them. The problem is all the changes had to be
kept in memory or on disk somewhere before they were commit to the database. This
fix commits each change as it's being made, allowing resources to be freed and fixing
some of the inefficiencies

Merge branch 'stable'

Work around pbutils import warning bug (5066)

Fix typo in VideoData docstring

Setting 0.8.2.dev in configure.ac as well

Setting version to v0.8.2.dev

Fixing typo (thanks breton)

0.8.1 release notes

Merge branch 'stable'

Fix security issue in OAuth verifier validation

Merge branch 'stable'

Conflicts:
mediagoblin/i18n/templates/en/mediagoblin.po
mediagoblin/plugins/archivalook/tools.py

Fix bug on the OAuth client deauthorization page

An exception was raised when a user tried to go to the authroization page
this occured when we changed the field names on the models from "user" to
actor. This patch corrects the query and resolves the error.

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

(cherry picked from commit 564a48e018bcd786aa32b232cb7216be3ef3fb5e)

Fix Issue 5375 Deprecated function in video thumb

This patch fixes issue 5375 by replacing a function call that has
been removed in recent versions of PIL with the recommended
replacement.

Kludgey documentation fix so that python 2 does not break with flup

See also Issue #5373

Add "Add media" button on home page when no media is present.

This is an addition to the button hidden in the top toolbar.

Fix issue #5372: test_comment_notification fails with werkzeug 0.11 or newer

Formerly like:
   chris commented on your post (​http://localhost:80/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

With werkzeug 0.11.0 or higher:
    chris commented on your post (​http://localhost/u/otherperson/m/some-title/c/1/#comment) at GNU MediaGoblin

Easy enough just to be flexible.

Fix issue 983 PDF UnicodeDecodeError

Parse PDF lines as unicode to prevent UnicodeDecodeError when a
non-ASCII character is encountered.

Fix #5363 - Collections don't serialize correctly

Added test for #5356 - Read someone else's feed

This adds a test and improves a previous test for the ability to read
someone elses feed. Previously it was not possible however this has
since been patched and this test checks for that.

Allow API client to GET another user's outbox

Signed-off-by: Jessica Tallon <tsyesika@tsyesika.se>

Fix #5354 & #5355 - Fix Graveyard.serialize

Graveyard.serialize raised an exception as the deleted datetime
objects where not being converted to strings for json encoding. It
also didn't deal with the case when there was an actor, it now calls
the actor's serialize method as it should.

Thanks to Alyeph who provided the patches for both of these.

Use urljoin to create proper feed media URLs

Fix for issue 5070 gst incomplete file

Seek tmp_media_file to 0 before attempting to discover the file type.
This prevents the following error when discovering mp4 video files.

"gst-stream-error-quark: This file is incomplete and cannot be played"

Fix add collection view for new schema

Fix minor grammatical error 'settings' -> 'setting'.

Remove <br/> from safe string indicating that CSRF cooking is missing.

trac#687: Add unit tests for `redirect` and `redirect_obj`.

Switch to webtest >= 2.0.18

trac#665: Upgrade to WebTest 2.0.18 and fix broken test `test_csrf_cookie_set`.

Test was failing due to API change in WebTest around accessing cookies set in the test client. These are now in `test_app.cookies`.

While there are currently 48 other tests failing, I've verified that before and after this change that the same number fail. I've also checked that no other tests use the old API for accessing test client cookies.

I've pinned to version 2.0.18. My understanding is that it's generally a good idea to pin to a specific version where possible to avoid the "why has this suddenly broken" type bugs. This also seems appropriate since WebTest appears to be very stable.

Prevent unhandled exception on non-existant user.

These changes bring `makeadmin` and `changepw` in-line with the approach used in `deleteuser`.

I've also made the error messages more consistent: list the username and full sentences.

Merge branch 'comments'

Comment changes for federation

This adds a new Comment link table that is used to link between some
object and then the comment object, which can be more or less any
object in Mediagoblin. The MediaComment has been renamed to
TextComment as that more aptly describes what it is. There is
migrations for these changes.

There is also the conslidation of the Report tables into a single
Report table, the same with the Notification objects. This is because
both of them split out MediaEntry and Comment versions into their own
polymorphic versions from a base, this is no longer a meaningful
distinction as comments can be anything.

Fix #5353 - Bug in OAuth which referenced "user"

There was a recent change in 0f3bf8d where several names which were
used to refer the actor where renamed to the standard "actor"
property name. There were some places in the OAuth decorator and the
OAuth views where the old names were still referred. This fixes that.

Add public_id fixes throughout the code

This adds several things, mainly code which checks for the public id and
if it doesn't exist generating it where it can. This is to because we
need to keep the public_id to be able to effectively soft delete models.

This also adds a public_id field to the Activity along with a migration.

Add Graveyard model

This adds the Graveyard model which is used when a model is deleted, it
stores the important "shell" information on the model so it can
hard-delete the real object. It also remaps the GenericModelReference
references to the new Graveyard model.

This also moves the soft deletion setting from __model_args__ to
"deletion_mode" on the model.

Add the __model_args__ deletion code

This adds the "deleted" fields to the models as well as a new
__model_args__ section whcih supports the option for changing the
deletion type. Deletion is now handled by choosing a deletion method
based on the __model_args__["deletion"] setting, for example if it's
soft deletion it will call Model.soft_delete()

Collection changes and migration for federation

- Adds a "type" column to the Collection object and allows the
CollectionItem model to contain any object.
- Changes "items" to "num_items" as per TODO
- Renames "uploader", "creator" and "user" to a common "actor" in most places

Fix bugs with the exifread library update

- As of version 2.1.2 of exifread the 90 CW and 90 CCW values were
  swapped, this bug is now fixed however our test data had those values
  swapped too. I have fixed that.

- I also noticed that I had different orientation values, this was
  noticed and fixed for some other differing values in commit ccca39f1
  when it was decided we'll add values which were noticed on different
  platforms.

Fix #994: Also set self.data when no change made to URL.

This partially reverts 2a1082e3

Use StringField.process_formdata() if valuelist is empty.

Fix #994: Don't require users to type the website URL scheme when updating profile.

Adds 'http://' if no scheme is provided. Eg. If you enter
'www.example.com', this will be updated to 'http://www.example.com'.

Issue #815: Replace two non-ASCII curly single quotes with straight quotes.

I don't think there's necessarily anything wrong with using non-ASCII
characters, since UTF-8 is basically the de facto standard. There's no
reason to mix a small number of curly quotes into a configuration file
though, so I've replaced them for consistency.

Fix some unit tests and bugs

This fixes a lot of the issues with the LocalUser changes that were
merged recently. There was a problem where the attributes of LocalUser
were not being eagerly loaded and because the Session was detached an
exception was being raised when they were accessed.

This also fixes some typo's which were introduced.

Finally this adds a temporary fix for a potential SQLAlchemy bug, this
is a bug where doing:

    User.query.filter(LocalUser.username == "some_username").first()

does NOT yeild a user with the username "some_username" but all users
on the site. The temp fix is to just query the LocalUser, this should
be resolved when bug is confirmed and fixed upstream.

Fix #5344 - OAuth NotImplemented exception

This introduces a migration which adds a dummy Client, RequestToken
and AccessToken. These are used when an invalid request comes in,
instead of bailing early, it needs dummy data to prevent timing
attacks.

This then implements the methods which get the IDs of the dummy
objects. If these are changed in the future a migration which checks
for the previous dummy object should be created and updates them to
reflect the new IDs/tokens.

Fix #1066 - OAuth Invalid signature error

It seems that the GET params on a URL should be included when
one signs the request. Mediagoblin was just using the base URL
without them. This should fix that.

Fix serialization after model changes

After the recent model changes there were some bugs which were
introduced into the serialization methods of the models. This commit
fixes those issues.

Change structure of MediaEntry and add migration

This makes the changes needed for federating MediaEntry objects as well
as adding the migration and necessary methods to get the public_id just
in time (JIT).

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add a no_referrer setting to prevent browsers leaking information.

Fix urlparse import in tools/routing.py

urlparse is already a function, so we don't need to specify
a module name.

Refs #5339

Fix urlparse import in tools/routing.py

urlparse is already a function, so we don't need to specify
a module name.

Refs #5339

Add the user models to the MODELS list

This adds the two new user models (LocalUser and RemoteUser) to the
MODELS list that is in models.py. This stops the strange bug that occurs
if you migrate a fresh database, the two models don't exist however
migrating an existing database would create them as the migrations
exist.

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add polymorphic properties to User

This adds the ability to search for any user based on the generic
User case and be given back the specific LocalUser or RemoteUser.

This will require any code using the model to look which attributes
they are searching on and specify the specific User model they are
on if they're not on the generic User model. This will also require
new users to be created with LocalUser.

Add LocalUser and RemoteUser and migration

Regenerate po file after 8e832f84597bd1505f23f4abd4eef96ce12d3822

Fix typos reported in #1102

Regenerate po file after 8e832f84597bd1505f23f4abd4eef96ce12d3822

Fix typos reported in #1102

Return non-zero exit code if the command cannot be completed successfully.

Fixes #5084

Pin mock 1.0.1 in Python 2 for now.

mock recently dropped Python 2.6 support and then
re-introduced it in its latest release (however,
it's a bit unstable right now).

I think at this point, we can be more cautious
and just use mock==1.0.1.

Pin mock 1.0.1 in Python 2 for now.

mock recently dropped Python 2.6 support and then
re-introduced it in its latest release (however,
it's a bit unstable right now).

I think at this point, we can be more cautious
and just use mock==1.0.1.

Change all unicode() calls with six.text_type().

Fixes #5329.

Change all unicode() calls with six.text_type().

Fixes #5329.

Fix typo.

Fix more print statements. Refs #5331

Fix print statements to be python3 compatible. Refs #5331

Fix typo.

Fix more print statements. Refs #5331

Fix print statements to be python3 compatible. Refs #5331

Merge branch Generic Foreign Key changes

Fix removal of ActivityIntermediatory migration

The migration had a problem where other tables still referenced the migration
as well as a typo in an earlier migration. They have both been fixed and tested
on PostgreSQL and SQLite3.

This also fixes a bug where sometimes when creating an activity it'd raise an
Exception as the object hadn't got an ID. This has been fixed globally with a
fix to the create_activity federation tool.

Import urlparse from six.moves to work on both Python 2 and 3.

Import urlparse from six.moves to work on both Python 2 and 3.

v0.8.0!  Let's get this party started!

More things to include in MANIFEST.in

Note that users have to install node.js :\

More adjustments to manifest.in

 - include Makefile.in
 - include configure scripts
 - graft on devtools

We now store mediagoblin.example.ini, not mediagoblin.ini

Committing extracted and compiled translations

Potentially require virtualenv as a requirement for "make dist"

"make check" should work, and "make dist" should use setup.py

Right, also don't build _version.py in configure.ac

readthedocs can't read the version using autotools, so back to _version.py specifying it

Comment on why we're not using `make dist`... yet

Fix link from Gitorious -> Savannah

Better phrasing: "Should I Keep Open Registration Enabled?"

"Should I enable registration?" section

Fix some problems with activity mixins and migrations

Add a more verbose GenericForeignKey implementation

Remove deprecated fields and fix activity creation in tools

More fixed recommended by Elrond

This fixes the problem where GenericForeignKey could only be used with models
that are in the core of Mediagoblin, it now can be used with any model
that SQLAlchemy knows about, including plugins. This also fixes some small bugs
caused by incorrect ordering of params into a function.

Add some fixes Elrond suggested and doc strings

Add migration to remove ActivityIntermediator

Migration to drop the table and removal of it from the model as it has
now been superseeded by the GenericForeignKey field.