Use urljoin to create proper feed media URLs

Fix for issue 5070 gst incomplete file

Seek tmp_media_file to 0 before attempting to discover the file type.
This prevents the following error when discovering mp4 video files.

"gst-stream-error-quark: This file is incomplete and cannot be played"

Fix add collection view for new schema

Fix minor grammatical error 'settings' -> 'setting'.

Remove <br/> from safe string indicating that CSRF cooking is missing.

trac#687: Add unit tests for `redirect` and `redirect_obj`.

Switch to webtest >= 2.0.18

trac#665: Upgrade to WebTest 2.0.18 and fix broken test `test_csrf_cookie_set`.

Test was failing due to API change in WebTest around accessing cookies set in the test client. These are now in `test_app.cookies`.

While there are currently 48 other tests failing, I've verified that before and after this change that the same number fail. I've also checked that no other tests use the old API for accessing test client cookies.

I've pinned to version 2.0.18. My understanding is that it's generally a good idea to pin to a specific version where possible to avoid the "why has this suddenly broken" type bugs. This also seems appropriate since WebTest appears to be very stable.

Prevent unhandled exception on non-existant user.

These changes bring `makeadmin` and `changepw` in-line with the approach used in `deleteuser`.

I've also made the error messages more consistent: list the username and full sentences.

Merge branch 'comments'

Comment changes for federation

This adds a new Comment link table that is used to link between some
object and then the comment object, which can be more or less any
object in Mediagoblin. The MediaComment has been renamed to
TextComment as that more aptly describes what it is. There is
migrations for these changes.

There is also the conslidation of the Report tables into a single
Report table, the same with the Notification objects. This is because
both of them split out MediaEntry and Comment versions into their own
polymorphic versions from a base, this is no longer a meaningful
distinction as comments can be anything.

Fix #5353 - Bug in OAuth which referenced "user"

There was a recent change in 0f3bf8d where several names which were
used to refer the actor where renamed to the standard "actor"
property name. There were some places in the OAuth decorator and the
OAuth views where the old names were still referred. This fixes that.

Add public_id fixes throughout the code

This adds several things, mainly code which checks for the public id and
if it doesn't exist generating it where it can. This is to because we
need to keep the public_id to be able to effectively soft delete models.

This also adds a public_id field to the Activity along with a migration.

Add Graveyard model

This adds the Graveyard model which is used when a model is deleted, it
stores the important "shell" information on the model so it can
hard-delete the real object. It also remaps the GenericModelReference
references to the new Graveyard model.

This also moves the soft deletion setting from __model_args__ to
"deletion_mode" on the model.

Add the __model_args__ deletion code

This adds the "deleted" fields to the models as well as a new
__model_args__ section whcih supports the option for changing the
deletion type. Deletion is now handled by choosing a deletion method
based on the __model_args__["deletion"] setting, for example if it's
soft deletion it will call Model.soft_delete()

Collection changes and migration for federation

- Adds a "type" column to the Collection object and allows the
CollectionItem model to contain any object.
- Changes "items" to "num_items" as per TODO
- Renames "uploader", "creator" and "user" to a common "actor" in most places

Fix bugs with the exifread library update

- As of version 2.1.2 of exifread the 90 CW and 90 CCW values were
  swapped, this bug is now fixed however our test data had those values
  swapped too. I have fixed that.

- I also noticed that I had different orientation values, this was
  noticed and fixed for some other differing values in commit ccca39f1
  when it was decided we'll add values which were noticed on different
  platforms.

Fix #994: Also set self.data when no change made to URL.

This partially reverts 2a1082e3

Use StringField.process_formdata() if valuelist is empty.

Fix #994: Don't require users to type the website URL scheme when updating profile.

Adds 'http://' if no scheme is provided. Eg. If you enter
'www.example.com', this will be updated to 'http://www.example.com'.

Issue #815: Replace two non-ASCII curly single quotes with straight quotes.

I don't think there's necessarily anything wrong with using non-ASCII
characters, since UTF-8 is basically the de facto standard. There's no
reason to mix a small number of curly quotes into a configuration file
though, so I've replaced them for consistency.

Fix some unit tests and bugs

This fixes a lot of the issues with the LocalUser changes that were
merged recently. There was a problem where the attributes of LocalUser
were not being eagerly loaded and because the Session was detached an
exception was being raised when they were accessed.

This also fixes some typo's which were introduced.

Finally this adds a temporary fix for a potential SQLAlchemy bug, this
is a bug where doing:

    User.query.filter(LocalUser.username == "some_username").first()

does NOT yeild a user with the username "some_username" but all users
on the site. The temp fix is to just query the LocalUser, this should
be resolved when bug is confirmed and fixed upstream.

Fix #5344 - OAuth NotImplemented exception

This introduces a migration which adds a dummy Client, RequestToken
and AccessToken. These are used when an invalid request comes in,
instead of bailing early, it needs dummy data to prevent timing
attacks.

This then implements the methods which get the IDs of the dummy
objects. If these are changed in the future a migration which checks
for the previous dummy object should be created and updates them to
reflect the new IDs/tokens.

Fix #1066 - OAuth Invalid signature error

It seems that the GET params on a URL should be included when
one signs the request. Mediagoblin was just using the base URL
without them. This should fix that.

Fix serialization after model changes

After the recent model changes there were some bugs which were
introduced into the serialization methods of the models. This commit
fixes those issues.

Change structure of MediaEntry and add migration

This makes the changes needed for federating MediaEntry objects as well
as adding the migration and necessary methods to get the public_id just
in time (JIT).

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add a no_referrer setting to prevent browsers leaking information.

Fix urlparse import in tools/routing.py

urlparse is already a function, so we don't need to specify
a module name.

Refs #5339

Add the user models to the MODELS list

This adds the two new user models (LocalUser and RemoteUser) to the
MODELS list that is in models.py. This stops the strange bug that occurs
if you migrate a fresh database, the two models don't exist however
migrating an existing database would create them as the migrations
exist.

Change codebase to query or create correct User model

The code base had many references to User.username and other
specific to LocalUser attributes as that was the way it use to exist.
This updates those to query on the generic User model but filtering
by attributes on the LocalUser.

Add polymorphic properties to User

This adds the ability to search for any user based on the generic
User case and be given back the specific LocalUser or RemoteUser.

This will require any code using the model to look which attributes
they are searching on and specify the specific User model they are
on if they're not on the generic User model. This will also require
new users to be created with LocalUser.

Add LocalUser and RemoteUser and migration

Regenerate po file after 8e832f84597bd1505f23f4abd4eef96ce12d3822

Fix typos reported in #1102

Return non-zero exit code if the command cannot be completed successfully.

Fixes #5084

Pin mock 1.0.1 in Python 2 for now.

mock recently dropped Python 2.6 support and then
re-introduced it in its latest release (however,
it's a bit unstable right now).

I think at this point, we can be more cautious
and just use mock==1.0.1.

Change all unicode() calls with six.text_type().

Fixes #5329.

Fix typo.

Fix more print statements. Refs #5331

Fix print statements to be python3 compatible. Refs #5331

Merge branch Generic Foreign Key changes

Fix removal of ActivityIntermediatory migration

The migration had a problem where other tables still referenced the migration
as well as a typo in an earlier migration. They have both been fixed and tested
on PostgreSQL and SQLite3.

This also fixes a bug where sometimes when creating an activity it'd raise an
Exception as the object hadn't got an ID. This has been fixed globally with a
fix to the create_activity federation tool.

Import urlparse from six.moves to work on both Python 2 and 3.

v0.8.0!  Let's get this party started!

More things to include in MANIFEST.in

Note that users have to install node.js :\

More adjustments to manifest.in

 - include Makefile.in
 - include configure scripts
 - graft on devtools

We now store mediagoblin.example.ini, not mediagoblin.ini

Committing extracted and compiled translations

Potentially require virtualenv as a requirement for "make dist"

"make check" should work, and "make dist" should use setup.py

Right, also don't build _version.py in configure.ac

readthedocs can't read the version using autotools, so back to _version.py specifying it

Comment on why we're not using `make dist`... yet

Fix link from Gitorious -> Savannah

Better phrasing: "Should I Keep Open Registration Enabled?"

"Should I enable registration?" section

Fix some problems with activity mixins and migrations

Add a more verbose GenericForeignKey implementation

Remove deprecated fields and fix activity creation in tools

More fixed recommended by Elrond

This fixes the problem where GenericForeignKey could only be used with models
that are in the core of Mediagoblin, it now can be used with any model
that SQLAlchemy knows about, including plugins. This also fixes some small bugs
caused by incorrect ordering of params into a function.

Add some fixes Elrond suggested and doc strings

Add migration to remove ActivityIntermediator

Migration to drop the table and removal of it from the model as it has
now been superseeded by the GenericForeignKey field.

Fix the GenericForeignKey implementation

Migrate Activity to using the new GenericForeignKey

Add GenericForeignKey field and reference helper model

docs: Added handling of user_dev permissions

The user_dev directory gets created when users get established
and they start uploading media. However, the permissions aren't
correct on the directory as it gets created.

As a workaround, we create the directory at this stage, and then
set the proper permissions.

See this mailing list post for more information:
http://lists.mediagoblin.org/pipermail/devel/2015-May/001201.html

Use of deprecated frombytes when processing videos causes the task to fail

(Anonymous contribution, not by me)

  When transcoding a video using a recent version of PIL transcoding a
  video fails reproducible. The reason for this is an AttributeError:
  'module' object has no attribute 'frombytes'gets raised, while a
  thumbnails is being created. This is because frombytes alias was
  deprecated in favor of fromstring.

Clarifying the "note these steps"

No need to run git submodule init/update, run by bootstrap.sh

Switch git remote url

Wrong version number.  Stupid copy-pasta!

0.8.0 release notes

Theoretically correct... I need to verify that the steps work as
expected

Updating AUTHORS for 0.8.0

docs: Set paster service to start before celery

For some reason, celery wouldn't start if I started it first.
Setting paster to start first. Celery starts just fine on initial run
after paster is running.

docs: Updated permissions. Tweaked install details

Added nginx to installation packages. We say that our install uses
nginx, so users should skip nginx if they want to use apache. Also,
our group permissions depend on a web server being installed.

Changed install directory for mediagoblin acct to /var/lib/mediagoblin
It works better if we need to back up data.

Assigned mediagoblin user to the same group as the web server. This
is needed so that the server can access uploaded media.

Created mediagoblin group for non-web-server things such as logs.

docs: Removed systemcl enable/start. Already issued.

Debian-based platforms start the postgres server by default after
installation. For RPM-based distros, we've already issued these
commands prior to configuring the postgres server.

docs: Need to start postgres on rpm distros

Need to enable / start postgres database on rpm-based distros
before you create the postgres mediagoblin user and database.
If you don't start the database server, you can't create a
database user or database.

docs: Formatting tweaks to production-deployments.rst

Corrected typos and fixed rst formatting issues.

Switch from "cp --no-clobber" to "cp -n" for bsd compatibility

docs: Added systemd info. Reworked init script info.

Added tested systemd service files. Modified the structure of the
section about init scripts.

docs: Clean up nginx instructions

Made it more clear what commands to use if you're on deb/rpm-based system.

Added a note that shows the user how to test their nginx configuration.

docs: Added 'sudo' to cmd. Made 'exit' from postgres acct more clear.

Added a missing reference to 'sudo' in a command. Made the exit from
the postgres account more clear to reduce the chance for user error.

docs: Removed chkconfig cmd. Made 'exit' more explicit.

The chkconfig command is only needed on CentOS 6, which isn't really
a supported multimedia platform. CentOS 7 and Fedora 21+
wouldn't require this command.

Also made the "exit" command (used after setting up the postgres
mediagoblin account and database) more explicit. This will help prevent
user errors for users who may skim through the documentation.

docs: Copy paste.ini to paste_local.ini

Some scripts on the internet have referenced paste_local.ini, so
it is safer to have a copy on the filesystem by default, even if
the user doesn't need to change any of the values for a regular
setup.

docs: Typo fix. Fixed repated reference to gstreamer1.0-libav

docs: Updated gstreamer audio media type requirements to gst-1.0

Previous media type docs referenced gstreamer0.10, but we've updated
to gstreamer1.0.

Also, Debian ships libav instead of ffmpeg now. Updated docs
accordingly

Finally, simplified the install instructions to two commands instead
of four commands.

Note on what --without-virtualenv does

#5314 Prevent ZeroDivisionError in exif.py

Paste 2.0 breaking wsgi

TinyMCE plugin loading should NOT be here.

This might break the blog plugin, but it's kind of broken already :\

Move check that metadata exists earlier

Because of gstreamer-1.0 we need to migrate from old format of storing
metadata to new one. It seems that there are cases when original
metadata is empty for some reason.

The patch adds an earlier check that original metadata exists, skipping
everything is it doesn't.

Closes bug 5071

#5074: Added set -e to bootstrap.sh

This should make it so that if any of the commands in the script fail,
the whole script fails.

fixed 5068

Redirect which stderr to /dev/null

docs: Require nodejs-legacy on Debian-based systems. Remove un-needed text.

Per this announcement [0], Debian is using 'nodejs-legacy' as a
compatability package for what they used to call 'node'.
- Fixes bug 5080 [1].

Remove note about warning that users would no longer see.

[0] https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=614907#108
[1] https://issues.mediagoblin.org/ticket/5080

setup.py: Updated version requirement for 'requests'. Fixes 5313.

If we don't speficify a version for 'requests', Debian installs
v2.4.x, but there is an issue with urllib3 and pyopenssl in versions
prior to 2.6.0. This issue caused our installs to fail.

Updating our requirement to 2.6.0 or greater resolves this issue
and allows our installation processes to proceed normally.
`

docs: Updated deployment docs to use sudo. Other various fixes.

- Use sudo instead of root user but give info on how to configure sudo.
- Changed docs to reference Jessie as the stable version of Debian
- Corrected the command to create the 'mediagoblin' system account
  - Fixes https://issues.mediagoblin.org/ticket/5083

Merge branch 'stable'

Conflicts:
docs/source/siteadmin/deploying.rst
docs/source/siteadmin/relnotes.rst