Merge branch 'merge-python3-port'

Conflicts:
setup.py

MediaGoblin 0.7.2 development cycle

Fixing bullet points, sigh

MediaGoblin 0.7.1!

Adding Low Kian Seong to AUTHORS

Updated the release notes

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

download url removed

Merge remote-tracking branch 'refs/remotes/moggers87/garbage-branch'

Temporarily disable garbage collection

We need to make sure we safely set up transactions here... it looks
pretty clearly like we aren't yet, so we need to review this.  This
should be re-enabled by 0.8.0.

Comment out the "check if the database is up to date" stuff

... it's presently causing session issues :\

Last two issues related to the python 3 merge tests: fixed!

 - Fix the "pulling the error out of excinfo" stuff for py3
 - The u"" only gets embedded in the string on py2.

This commit sponsored by Jeff Gibson.  Thanks, Jeff! :)

Modify deleteuser to fail gracefully

bin/gmg deleteuser will produce a traceback error if you attempt to delete a
user who does not exist. This commit provides a fix to allow deletuser to fail
gracefully.

This commit addresses https://issues.mediagoblin.org/ticket/969

Annnnd another json decode fix for py3!  On a roll with these!

This commit sponsored by Ramana Kumar.  Thanks!

decode to unicode before loading in json again, for py3

This commit sponsored by Chris Cormack.  Thanks!

Much more nicely formed form error check

This doesn't rely on checking HTML output... thus, cleaner.

This commit sponsored by Alexandre Guédon.  Thank you!

Fix error check in test_edit.py for python 3

This isn't the nicest of checks... we should probably be checking the
actual form passed into the context.  But for now, it's a fix.

Fix exception catching on python 3

This commit sponsored by Paul Smith.  Thank you!

Fix iteritems usage on python 3

This commit sponsored by Ben (Free Software Melbourne) Finney.  Thanks!

The scheduled garbage collection task was not being called due to it being misnamed

Fix #968

json.loads(request.body) => json.loads(response.body.decode()))

This fixes python 3 stuff.

This commit sponsored by James Reilly.  Thanks, James!

Import mock correctly on py3

This commit sponsored by Andrew McNicol.  Thank you!

Simplify things here and use io.open

Fix test_legacy_api.py

Or rather, reimplement one of Berker's fixes and add one of mine:
 - add back the http_auth_headers fix Berker wrote
 - decode to json when testing the response.body, since we have no
   idea what the order will be here

Import mock from unittest if on py3

Merge branch 'master' into merge-python3-port

Has some issues, will iteratively fix!

Conflicts:
mediagoblin/gmg_commands/__init__.py
mediagoblin/gmg_commands/deletemedia.py
mediagoblin/gmg_commands/users.py
mediagoblin/oauth/views.py
mediagoblin/plugins/api/views.py
mediagoblin/tests/test_api.py
mediagoblin/tests/test_edit.py
mediagoblin/tests/test_oauth1.py
mediagoblin/tests/test_util.py
mediagoblin/tools/mail.py
mediagoblin/webfinger/views.py
setup.py

Temporarily disabling the mediagoblin errors middleware

We don't have paste (core) in py3, so....

No reason to wrap the rest of the options in a quote

This commit sponsored by Thane Williams.  Thank you!

Upgrading gunicorn.  Referenced issue is resolved.

Also, upgrading seems to fix weird
"RuntimeError: dictionary changed size during iteration" issues
I was seeing.  (Looked like a gunicorn issue, not ours.)

py2.7 compatibility with open(..., encoding="utf-8"), use io.open

This commit sponsored by Peter Baumgarten.  Thank you!

Explicitly open READMEFILE as utf-8

Fix unicode error in pdf media type

(we're checking against bytestrings, so make that explicit)

Set up tox.ini to run more properly:

 - Don't run dbupdate... the tests themselves do this, and we might
   mess up someone's db
 - We shouldn't run setup.py develop because that installs a new
   *live* db... the tests do isolation, so...
 - Install the package's dependencies by the package itself... it
   seems that removing "skipsdist = True" fixes this
 - Run py.test manually rather than use runtests.sh (which itself uses
   ./bin/py.test if it can)

Merge branch '945-well-known'

* 945-well-known:
  Add /.well-known/webfinger API to lookup user hrefs
  Add XRD+XML formatting for /.well-known/host-meta

Add /.well-known/webfinger API to lookup user hrefs

Raw image mediatype had a non-unicode logging call

Was causing UnicodeDecodeError when file/folder was not ascii.
Fixes bug #935.

Add __repr__ for Collection and CollectionItem

Slight tweak to the description wording

Update setup.py

A `description` is needed so that project is not listed as `UNKNOWN` on `pypi`

Handle cr2 files through the raw_image media type

This commit sponsored by Jim Campbell.  Hey, I know that guy!  Thanks
Jim! :)

Fixes navbar for sandyseventiesspeedboat

Add XRD+XML formatting for /.well-known/host-meta

now in the 0.7.1.dev cycle

Correcting, host-meta not webfinger.

Run the following to fix the missing git submodule init step

Also add git submodule init to the release docs

At version 0.7.0, at last!

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Updating release notes.

not yet, anyway.

Blog media type doc

updating ayleph to Andrew Browning

Updating the AUTHORS file for this release

eek, should be python2 not python22

Make blog_post_listing easier to read

This is Elronds change on #948. As 'blog_slug' is always
set in request.matchdict there is no need to do a default-none
get on the dictionary. This change just makes it easier to read.

List blogs by URL user rather than request user

The blog_post_listing function in mediagoblin/media_types/blow/views.py
attempts to access blogs based on the requesting user rather than the url
user. This results in server errors when an unauthenticated user attempts to
follow a link from another user's blog post listing, and 404 errors when an
authenticated user attempts to follow a link from another user's blog post
listing.

This change bases blog post listings on the URL user rather than the request
user.

Add docs on collection_add_media hook.

Start for documenting core hooks.

This is basicly a start by Chris Webber, I'm just commiting
it for him.

Add new hook 'collection_add_media'

Tidy up federation code and add tests to cover more of the APIs

Use oauthlib's safe characters when generating client_key and client_secret

Fix a python2.6 compatibility issue.  Removing a dict comprehension.

This commit sponsored by Christopher Beppler.  Thanks!

Always remove the session when running check_db_up_to_date()

This commit sponsored by Francois Marier.  Thank you!

Implement ServeCommand.{loadserver, loadapp}.

This is partly port from PasteScript.

Add an initial "gmg serve" implementation.

The CLI is similar to "paster serve".

Restore different server options.

Improve mediagoblin._compat.py2_unicode.

- Encode obj.__repr__() to bytestring if its type is unicode in Python 2.
- Add internal encode_to_utf8() decorator.
- Do not raise an exception if a class does not have an __str__() method,
  just warn.

Move the AlembicMigrationManager to top of the module.

Also, add a simple docstring.

Provide a better manager API for Alembic.

Add initial Alembic migrations.

Fix dict.keys() in Python 3.

Fix a comment.

Forgot to add starttls_config.ini

Fix #861 - Add unit test and documentation for email_smtp_force_starttls

Elrond keeps pointing out places I should "is not None" at :)

Okay, we don't know that indexes are falsey, so let's make it clearer.  Yeek!

this negation needs parens.

Pull the indexes out of the dictionary directly

Instead of checking for their keys and pulling them out later, that is.

If the constraint already exists, roll back to a sane state.

Explaining why we're committing mid-migration

Only add the constraint if we need to.  Catch an exception if we don't.

Also, updating the comment about sqlite being crazy :)

Document both migrations, comment out old migration

Add a new migration which removes/fixes the old migration

The previous migration, as it turns out, was not needed, and there
were many inconsistencies put in place by adding it.  See issue #920.

This commit sponsored by Gergő Tisza.  Thank you!

Update TODOs in setup.py.

Fix another tests.

(forgot to commit earlier)

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

mbox_message.get_payload() returns bytestring.

Make sort_keys True to avoid hash randomize feature in Python 3.

Add more security checks when updating objects and tests

Adding Pump API stuff to the docs index.

This commit sponsored by Joel Luellwitz.  Thanks!

Set up virtualenv to use py2

This commit sponsored by Jonas Öberg.  Thanks Jonas!

Use the STARTTLS command to upgrade SMTP connections where possible.

Adds the option `email_smtp_force_tls` which will cause `send_email` to error
if it is unable to use the `STARTTLS` command (e.g. where the user knows the
SMTPd supports `STARTTLS` and wishes to protect themselves against a downgrade
attack)

Setting both `email_smtp_user_ssl` and `email_smtp_force_tls` may result in
undefined behaviour if the SMTPd has not been correctly configured.

TODO: Unit tests?
TODO: Documentation?

Updated video thumbnail pipeline to use decodebin2

The video thumbnailer uses decodebin to automatically detect the file type in the thumbnail pipeline. However, decodebin does not properly demux theora streams, which causes the thumbnailer to fail for .ogv files. decodebin2 properly demuxes the theora stream and successfully creates thumbnails for .ogv files.

Fix some security concerns regrding inpersonation in federation code.

Fix #927 - Clean up federation code after Elrond's review

- Add json_error and use inplace of json_response where appropriate.
- Add garbage_collection to config spec file.
- Fix bugs in both garbage collection task and test
- Handle /api/whoami when no user logged in and a test for such a case.
- Validate ID is correct and user has comment privilege to comment.

Make chown more generic.

Some distributions (ubuntu 14.04 maybe?) don't create a
group for a new user.  So change the "chown" to use the
primary group of the user instead of forcing the group.
This should do the right thing in more cases.

Old: chown mediagoblin:mediagoblin
New: chown mediagoblin:

Fix #923 - add allow_admin to user_has_privilege decorator