Back sessions with It's Dangerous.

This is a contribution to #668.

Improve fs security for itsdangerous secret.

Set mode 700 on the directory, mode 600 on the file.

Docs for get_timed_signer_url.

Basic itsdangerous infrastructure.

Implement the basic infrastructure for using itsdangerous
in mediagoblin. Usage instructions will follow.

piwigo start at pwg.images.addChunk.

This function receives part of an upload. Does most
parameter validation, but does not safe the data anywhere
for now.

Also fake pwg.images.exist

piwigo: Add session.getStatus, improve categories.getList

- pwg.session.getStatus returns the current user as
  "fake_user".  When we have a session, we'll return
  something better.

- pwg.categories.getList add a name and the parent id for
  its one and only "collection".

- Improve logging a bit.

piwigo: Sent a fake cookie.

shotwell needs a pwg_id cookie to continue.
And really, it's the only cookie it supports, so in the
long run, we need to send a proper session cookie as
pwg_id.

Add warning README.rst and fix pep8.

piwigo: Move tool functions into tools.py

Start at pwg.categories.getList and improve xml output.

- The xml formatting is now in the main function.
- Add PwgNamedArray to have named lists in xml output.
- Remove gmg.test method

piwigo: start xml response encoding, more (fake) methods.

Starting a piwigo api plugin.

This one just puts up the basic endpoint, some
infrastructure and a fake login method.

Lots more needed.

Improve release notes formatting.

The geolocation ini sample needed more indenting and
got a nice "code-block:: ini".

Point to the Hacking HOWTO

Better description of the structure of the application

Clarification on some original design decisions things.

A more realistic "con" explaination in the docstring of exif_fix_image_orientation

Thanks to dnet for catching this.

This commit sponsored by Chester Zeller.  Thanks!

Remove .pyc files from tarball when running maketarball.sh

Changing "evil" submission test-script to be a bash script.

Start a storage section.

With the workbench stuff in it.

Only create api docs for mediagoblin/

Now in 0.4.0 dev mode!

"will now" -> "will not" tyop caught by AVRS... fixed, thanks!

New version: 0.3.3 !

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fixing dates when uploaded in a video to a mediagoblin instance.

There were some "serializing to json strings" issues.  They should be
fixed now... much more careful whitelist and cleaning of the video
"tags" metadata out of gstreamer.

This commit sponsored by Aimee Sullivan.  Thanks!

You can also DELETE accounts now

Minor release note changes, as suggested by Elrond.

This commit sponsored by Martin Ansdell-Smith.  Thanks!

0.3.3 release notes

Updating AUTHORS with many more people who deserve to be attributed!

Added thingiview.js symlink, fixes webgl view

655: Fix collection fetching for media_collect()

The problem is:

    Collection.query.filter_by(id=X, ...)

1. X = form.collection.data
   This works nicely for the completely empty form (X = None).
   It does not work for a selected collection, because X
   will be the collection, not its id.

2. X = request.form.get('collection') (old code).
   This one works mostly, except for the completely empty
   form on postgres, because in this case X = u"__None" and
   postgres does not like comparing an integer column with
   a string.

Fix:
    collection = form.collection.data
    if collection and collection.creator != request.user.id:
        collection = None

tyop fix in docs, lazyserer.sh->lazyserver.sh

This commit sponsored by S J Bennett.  Thanks!

Change the _original_ design decisions.

- Rename the chapter to "Original *".
- Fix links.

Revive old "Design Decisions".

This brings back the exact version that was removed in
65e7ce634cfecc87ed6f390f9ccf91be513d2eea.

Providing warning to users about instability of OAuth/API

Making a fix so that video codec name switched from "vp8 video" to "vp8"

"vp8 video" is what vp8 is marked as in gstreamer's metadata.
However, the browser expects it just as the name "vp8".  So fixing
that.

This commit sponsored by Tyng-Ruey Chuang.  Thank you!

Committing extracted and compiled translations

Merge branch 'master' into 419_cherrypick_large_uploads

Removing an unnecessary video write

In the case of if we're skipping transcoding, we don't need to copy
this file at all!

This commit sponsored by Frank Zambrini III.  Thanks!

Merge branch 'joar-skip_transcoding'

Elrond points out that we should use form.collection.data

That's true; I'm not sure what it's fixing, but he thinks it's fixing
something.  Anyway, it's correct :)

This commit sponsored by Philippe Gauthier.  Thanks!

Give a more useful error if a table already exists and so we can't create it during migrations

This commit sponsored by Andrzej Prochyra.  Thanks!

Three fixes to collection adding view, one of them a serious security bug

 - Don't let people who aren't the authors of a collection from adding
   things to it (handled by forcing the user check in the query)
 - request url in case invalid collection selected fixed
 - collection_item.author doesn't yet exist; removing the selection
   (we might want multiple people to be able to edit a collection in
   the future but that future does not yet exist; as Elrond said,
   remove this "false hope")

Thanks to Elrond to pointing out these issues.

And thanks to David Kindler for sponsoring this commit!

self.media_data->self.media_manager in the docstring.  Thanks for catching, Elrond.

This commit sponsored by Sebastian Hugentobler.  Thank you!

No reason really to pass in fetch_order anyway...

I think this is legacy code from get_display_media being a utility, or
something.  Removed!  (Thanks for pointing this out, Elrond!)

This commit sponsored by Tristan Chambers.  Thank you!

Make copying to/from storage systems memory efficient (#419)

The copy_locally and copy_local_to_storage (very inconsistent terms BTW)
were simply slurping in everything in RAM and writing it out at once.
(the copy_locally was actually memory efficient if the remote system was local)

Use shutil.copyfileobj which does chunked reads/writes on file objects.
The default buffer size is 16kb, and as each chunk means a separate HTTP
request for e.g. cloudfiles, we use a chunksize of 4MB here (which has
just been arbitrarily set by me without tests).

This should help with the failure to upload large files issue #419.

Another elrond suggestion: only init orig_metadata if there's anything in the dict.

This commit sponsored by Joshua Rosen.  Thank you!

Per Elrond's suggestions moving DEFAULT_WEBM_TYPE to media manager

The reason for this is to avoid defining this twice as we were
previously (once in the template, once in video/models.py)

This commit sponsored by Roland McIntosh.  Thank you!

Extrapolate type= based on the video metadata that we have, if we can.

It's kind of awkward because it relies on there being a entry.media_data,
but that's not guaranteed... (see http://issues.mediagoblin.org/ticket/650)
so we use a dopey fallback in the template in that case (kind of
annoying info duplication).

This commit sponsored by Piotr Wieczorek.  Thank you!

Mild cosmetic cleanups to video.html and adding missing </li> elements.

This commit sponsored by Jukka Hellen.  Thanks!

{% set %} the display_type and display_path and use that elsewhere

This will make some stuff a bit cleaner that's coming up...

This commit sponsored by J B Nicholson-Owens.  Thanks!

pdb.set_trace() in mediagoblin code is Not Allowed(TM), removing from audio code

Of course, the version that appears here is not really dangerous
because it's for the "call the file individually" form of debugging,
but it isn't allowed anyway.

This commit sponsored by Michael Faryniarz.  Thanks!

Now store metadata info from processing into the media type.

This comes in several parts:
 - Store the metadata from gstreamer during processing
 - Add a new JSONEncoded field to the VideoData table
 - And, of course, add a migration for that field!

This commit sponsored by Julius Tuomisto.  Thank you, Julius!

Removed debugging exception

.. that accidentally got included due to not testing the video media
type in the unit tests.

Updated raven plugin

- Added wrap_wsgi, celery_setup, celery_logging_setup hooks
- Updated raven plugin docs
- Updated production considerations docs
- Added raven logging setup

Huge amount of work to (mostly) allow .ogg (and maybe other) formats to skip transcode

 - Update get_display_media in several ways:
   - now uses the media type's own declaration of the order of things
   - returns both the media_size and the media_path, as per the docstring
   - implicitly uses self.media_files as opposed to forcing you to pass it in
 - update videos to use get_display_media
 - update images to declare media_fetch_order in the media manager (videos also)
 - update stl to use media.media_files['original'] instead of weird
   use of get_display_media
 - update sidebar to only conditionally show webm_640

TODO still: identify video type information *during* processing, show
that in the <video><source /></video> element.

This commit sponsored by Nathan Yergler.  Thanks, nyergler!

plugin/raven: Fix paster's celery config issue

Check for CELERY_CONFIG_MODULE before we import raven.contrib.celery. It
seems that the import otherwise sets up the celery client before we get
to pass it our mediagoblin-specific settings.

Added raven plugin docs to docs

Removed stray )

Removed PLUGIN_DIR from raven

Don't look for the oauth config in raven plugin

Refactored raven plugin

Added raven plugin

Added .send method to cloudfiles storage object

.. wrapper. Also added some logging - A .warn() for the legacy .write()
method and a .debug() for the new copy_local_to_storage()

Make Cloudfiles copy memory efficient too (#419)

It seems that (our implementation of) cloudfiles.write() takes
all existing data and appends write(data) to it, sending the
full monty over the wire everytime. This would of course
absolutely kill chunked writes with some O(1^n) performance
and bandwidth usage. So, override this method and use the
Cloudfile's "send" interface instead.

Also make the Cloudfile file wrapper an iterator that allows us to
simply do "for data in cloudfile:" which will stream the data in a
memory-efficient way.

DO NOTE THAT THIS PATCH IS COMPLETELY UNTESTED DUE TO LACK OF SETUP
PLEASE REVIEW AND VERIFY.

Fixed hidden fields in oauth client authorization

Removed the translation marking and passed in empty strings to avoid
WTForms automagically creating the labels from the field names (i.e.
client_id => 'Client Id').

Do not encode the next kwarg twice

Turn "License preference" into a normal field.

instead of rendering it by hand, use the normal field
rendering tools.

Old:
[choose box] License preference
New:
License preference
[choose box]
This will be your default license on upload forms.

If we're not transcoding, copy this file directly over to ['original']

There's no reason to copy it over to 'webm_640' in such a case,
clearly.

Added logic so we don't do it twice either.

Haven't tested this yet though ;)

This commit sponsored by Algot Runeman.  Thank you!

Merge branch 'master' into joar-skip_transcoding

Conflicts:
mediagoblin/config_spec.ini

Fix some media page redirects in media_collect.

Use .slug_or_id instead of only .id.

Fixup _("...") % (...) in media_collect.

Get some messages translated.

Bad:  _("..." % (...))
Good: _("...") % (...)

MediaGoblin not really anything to do with FooCorp anymore.

Fixing translations stuff for command line tools and such.

We had switched mg_globals to have the default translations set to
None so that it would be set up by the mediagoblin app later.
However, this would mean that things like scripts would try to call
gettext and error out.

Thanks to Tumulte for catching this.

This commit sponsored by Aurimas Fišeras.  Thank you!

Simplifying the test for whether or not a user and slug combo exists.

Thanks to tchernobog for catching this (it was breaking on postgres)
and Elrond for the suggestion on how to fix it.

This commit sponsored by Caleb Cooper.  Thanks Caleb!

Removing html5shiv for not complying with its own licenses and racism

Issues of racism seem to have been resolved and removed from upstream,
but make having this as a dependency somewhat uncomfortable:
  https://github.com/aFarkas/html5shiv/issues/91

Regardless, at the time of writing the project doesn't comply with its
own license... it states to be dual licensed under MIT and GPLv2 but
distributes neither of these licenses with its source.

Allow media managers without sniff_handler

Copying the license from the jquery repository rather than the generic MIT one.

Damned MIT and BSD licenses encouraging modification by every project
makes compliance annoying.

Simplifying the "id:" url detection, per Elrond's suggestion.

As pointed out, we didn't need that nested if.

This commit sponsored by Paul Kuriakose.  Thank you!

Replacing several request.matchdict['media'] -> media_slug ... shorter!

Thanks for pointing this out, Elrond ;)

This commit sponsored by Gerardo Joven Valdivia.  Thank you!

Media URLs with ids in them are now like /u/cwebber/m/id:4112/ rather than /u/cwebber/m/4112/

This avoids some potential name collision issues.

This commit sponsored by Asokan Pichai.  Thank you!

Stylistic cleanups to some urlgen calls.

This commit sponsored by Stephane Berube.  Thank you!

Small PEP-8 compliance fix.

This commit sponsored by Mats Sjöberg.  Thanks!

Import sqlalchemy's and_ and use it in our select statement

This commit sponsored by Hans-Jörg Dollansky.  Thank you!

And of course, we need to actually commit at the end of a migration.

This commit sponsored by Tamas Kemenczy.  Thanks, Tamas!

Dope'ily missed .count() on the query where we're counting

Thanks for catching, Elrond.

This commit sponsored by Graham King.  Thank you!

Supplying migrations for a bold new era of mediagoblin entry slugs

Okay, that's a totally confusing statement, but the docstring of this
migration summarizes it well:

  Entries without slugs now display differently in the url like:
    /u/cwebber/m/id=251/

  ... because of this, we should back-convert:
   - entries without slugs should be converted to use the id, if possible, to
     make old urls still work
   - slugs with = (or also : which is now also not allowed) to have those
     stripped out (small possibility of breakage here sadly)

This commit sponsored by John Sullivan.  Thanks johnsu01! :)

You can now set the PASTE_CONFIG environment variable to control logging setup

So this should work:

  PASTE_CONFIG=/path/to/paste_foo.ini ./lazycelery.sh

Thanks to Laurent Fournier for sponsoring this commit!

Removing stray character from pythonsnake's doc change and filling comment

This commit sponsored by Johannes Knabbe.  Thank you!

Fix bug 461

Improved dropdown styling, part deux

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Improved dropdown styling

Changing the order so that config_spec.ini is mentioned after mediagoblin_local.ini

This commit sponsored by Matteo Settenvini.  Thanks!

Merge remote-tracking branch 'refs/remotes/pythonsnake/581_config'

Merge remote-tracking branch 'refs/remotes/pythonsnake/629_autoplay'

Renaming "extrahead" template hooks to "head".

As Elrond points out, the "extra" is implied by it being a hook!

This commit sponsored by Andrew Fustini.  Thanks, Drew!

extra_head template hook.  This will allow plugins to add extra js/css more easily.

This commit sponsored by Moritz Berberich.  Thank you!