Added .send method to cloudfiles storage object

.. wrapper. Also added some logging - A .warn() for the legacy .write()
method and a .debug() for the new copy_local_to_storage()

Make Cloudfiles copy memory efficient too (#419)

It seems that (our implementation of) cloudfiles.write() takes
all existing data and appends write(data) to it, sending the
full monty over the wire everytime. This would of course
absolutely kill chunked writes with some O(1^n) performance
and bandwidth usage. So, override this method and use the
Cloudfile's "send" interface instead.

Also make the Cloudfile file wrapper an iterator that allows us to
simply do "for data in cloudfile:" which will stream the data in a
memory-efficient way.

DO NOTE THAT THIS PATCH IS COMPLETELY UNTESTED DUE TO LACK OF SETUP
PLEASE REVIEW AND VERIFY.

Fixed hidden fields in oauth client authorization

Removed the translation marking and passed in empty strings to avoid
WTForms automagically creating the labels from the field names (i.e.
client_id => 'Client Id').

Do not encode the next kwarg twice

Turn "License preference" into a normal field.

instead of rendering it by hand, use the normal field
rendering tools.

Old:
[choose box] License preference
New:
License preference
[choose box]
This will be your default license on upload forms.

Fix some media page redirects in media_collect.

Use .slug_or_id instead of only .id.

Fixup _("...") % (...) in media_collect.

Get some messages translated.

Bad:  _("..." % (...))
Good: _("...") % (...)

MediaGoblin not really anything to do with FooCorp anymore.

Fixing translations stuff for command line tools and such.

We had switched mg_globals to have the default translations set to
None so that it would be set up by the mediagoblin app later.
However, this would mean that things like scripts would try to call
gettext and error out.

Thanks to Tumulte for catching this.

This commit sponsored by Aurimas Fišeras.  Thank you!

Simplifying the test for whether or not a user and slug combo exists.

Thanks to tchernobog for catching this (it was breaking on postgres)
and Elrond for the suggestion on how to fix it.

This commit sponsored by Caleb Cooper.  Thanks Caleb!

Removing html5shiv for not complying with its own licenses and racism

Issues of racism seem to have been resolved and removed from upstream,
but make having this as a dependency somewhat uncomfortable:
  https://github.com/aFarkas/html5shiv/issues/91

Regardless, at the time of writing the project doesn't comply with its
own license... it states to be dual licensed under MIT and GPLv2 but
distributes neither of these licenses with its source.

Allow media managers without sniff_handler

Copying the license from the jquery repository rather than the generic MIT one.

Damned MIT and BSD licenses encouraging modification by every project
makes compliance annoying.

Simplifying the "id:" url detection, per Elrond's suggestion.

As pointed out, we didn't need that nested if.

This commit sponsored by Paul Kuriakose.  Thank you!

Replacing several request.matchdict['media'] -> media_slug ... shorter!

Thanks for pointing this out, Elrond ;)

This commit sponsored by Gerardo Joven Valdivia.  Thank you!

Media URLs with ids in them are now like /u/cwebber/m/id:4112/ rather than /u/cwebber/m/4112/

This avoids some potential name collision issues.

This commit sponsored by Asokan Pichai.  Thank you!

Stylistic cleanups to some urlgen calls.

This commit sponsored by Stephane Berube.  Thank you!

Small PEP-8 compliance fix.

This commit sponsored by Mats Sjöberg.  Thanks!

Import sqlalchemy's and_ and use it in our select statement

This commit sponsored by Hans-Jörg Dollansky.  Thank you!

And of course, we need to actually commit at the end of a migration.

This commit sponsored by Tamas Kemenczy.  Thanks, Tamas!

Dope'ily missed .count() on the query where we're counting

Thanks for catching, Elrond.

This commit sponsored by Graham King.  Thank you!

Supplying migrations for a bold new era of mediagoblin entry slugs

Okay, that's a totally confusing statement, but the docstring of this
migration summarizes it well:

  Entries without slugs now display differently in the url like:
    /u/cwebber/m/id=251/

  ... because of this, we should back-convert:
   - entries without slugs should be converted to use the id, if possible, to
     make old urls still work
   - slugs with = (or also : which is now also not allowed) to have those
     stripped out (small possibility of breakage here sadly)

This commit sponsored by John Sullivan.  Thanks johnsu01! :)

You can now set the PASTE_CONFIG environment variable to control logging setup

So this should work:

  PASTE_CONFIG=/path/to/paste_foo.ini ./lazycelery.sh

Thanks to Laurent Fournier for sponsoring this commit!

Removing stray character from pythonsnake's doc change and filling comment

This commit sponsored by Johannes Knabbe.  Thank you!

Fix bug 461

Improved dropdown styling, part deux

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Improved dropdown styling

Changing the order so that config_spec.ini is mentioned after mediagoblin_local.ini

This commit sponsored by Matteo Settenvini.  Thanks!

Merge remote-tracking branch 'refs/remotes/pythonsnake/581_config'

Merge remote-tracking branch 'refs/remotes/pythonsnake/629_autoplay'

Renaming "extrahead" template hooks to "head".

As Elrond points out, the "extra" is implied by it being a hook!

This commit sponsored by Andrew Fustini.  Thanks, Drew!

extra_head template hook.  This will allow plugins to add extra js/css more easily.

This commit sponsored by Moritz Berberich.  Thank you!

Add owner to list of collections.

When listing the collections, that a media is contained in,
also show the owner of the collection.

Also simplify the whole looping a lot.

Use media.id for collecting media too.

Also remove some useless whitespace while at it.

Use the media id for attachmemt editing.

And remove some stray white space from the output.

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fix stray comma in listings.views.atom_feed

Added some empty templates

- Make it possible for site owners to hook into base.html without
  tainting the repository.

simplified get_useful

use dict.iteritems() instead of dict.items()

use list expression instead of 3-deep for

simplified clean_exif

close file properly and remove unneeded variable

typofix in comment

use key in dict instead of key in dict.keys()

removed unused import cgi.FieldStorage

removed unused import re

removed unnecessary collection lookup

removed unused import NotFound

Changing name for atom feed view to be more generic than tags.

This commit sponsored by Ben Hutchings.  Thanks, Ben!

Integrate all atom feed in template

Embed the atom feed link in the root template (most recent media
page) for easier discovery. Delete the (listings/all.html) template
as contributed in commit 195e79098b5 as it was unused and the feed
is essentially showing the most recent media anyway.

Adding an Atom RSS feed for all media on the server

Go to /atom/ in your browser to see it.

Create wtforms_util.render_label(_p) and use it around.

- This makes many places more readable.
- Gives us translation in two places.
- Allows easier changing of labels in a central place.

Use wtforms_util.render_field_div more in media_collect.html

If we have to render fields individually, we still can use
wtforms_util.render_field_div for each field. Makes things
much smaller and readable.

Merge remote-tracking branch 'aleksej/632_config_spec_comment_typo'

Remove "translation legos" and linkify the tag to more generic tag listing

By "translation legos" I mean having multiple strings to be translated
appended together.  This isn't a good idea because you can't assume
that syntax will work together in the same way in another language, so
you may be making things hard or impossible for translators.

Between this and the last commit, this means that tags now link to
user tagged media specifically, and if people want a more general tag
listing, they can click on the tag link to get to a more general
listing.  I feel this is a good and intuitive route to handling this.

This sponsored commit brought to you by Debarshi Ray!  Thank you!

Making the tags on media pages point to the user's tag listing specifically.

This commit sponsored by Torsten Meissner.  Thanks, Torsten!

Fixing user gallery tags filter to be on slug rather than name.

This commit sponsored by Kat Walsh.  Thanks, Kat!

Merge remote-tracking branch 'refs/remotes/spaetz/WIP/user_tag_gallery'

plugins/api: fix for cross origin requests

The response headers were never getting set because of a bug in the 7c552c0
commit.  This expands the loop into a more readable form and results in the
headers getting set.

Fix some small bits in base.html.

1. Add a trailing slash to the mediagoblin.org URL.
   (The string changed anyway, so translations are not
   affected more than already.)
2. Order was wrong for those two at the end (old version):
     {% endblock mediagoblin_body %}
     </div>
3. Fix some little indenting issues.
4. Remove some useless space from the output.

Merge remote-tracking branch 'pythonsnake/537_version'

* pythonsnake/537_version:
  Added "version" before the version
  Fix bug 537

Fix deleting media with attachments.

If one deletes a media with attachments, there have been
various problems:
1) If the file in the storage did not exist any more (maybe
   because due to a previous deletion attempt?), the error
   propagation failed, because the wrong thing was
   gathered.
2) The attachment database entries were not deleted.
   Using cascade for this, for now.

Also add a simple unit test, that tests both by having a
broken attachment on a media.

Fix errors in collection views

When a collection does not exist, render the 404 page.

Change from email format in tag URI to domain format

Also fixed a bug (thanks pyflakes)

Address concerns in Issue #543

- Fixed PEP-008 issues.
- Removed .user-{user} from the tag URI and put it before the domain,
  such as {user}@{host} instead.
- Use year from collection.created instead of current year.

Mention mediagoblin/config_spec.ini

Add markdown notice to collection description.

Use wtforms_util.render_field_div on the collection
description, so that the markdown notice in the wtform is
actually rendered to html.

Added "version" before the version

Fixing MANIFEST.in: graft expects one directory per line

Updating MANIFEST.in for more files... trying to make this work on pypi :)

Tuned logging and added comments to 511 fix

Fixed issue #511.

Fix bug 629

Fix bug 537

correct typo in a comment in config_spec.ini

Merge remote-tracking branch 'refs/remotes/elrond/sql/media_data'

Add type="text/javascript" for <script>.

Our jquery <script> tag did not have a proper type
attribute.

Add translation tags; remove unnecessary title attribute from link

Remove unused translation variable

Fix "Add to collection" button: remove icon, add text, add to collections.html

Remove the collection counter because it's not needed

Kill monkeypatching of ProcessingState.

And change the process_foo() API to accept a
processingstate now.

image and video are tested, the others are UNTESTED.

Also refactor "copy original into public storage".

This makes the processing code easier to read/write and
alos will help the reprocessing once we get to it.

Thanks to Joar Wandborg for testing!

Use ProcessingState for video.

Rewrite video to use the new ProcessingState.

Thanks to Joar Wandborg for testing!

ProcessingState: Document monkey patching.

Implement ProcessingState class and use for images

The idea is to have a class that has the knowledge of the
currently being processed media and also has tools for
that.

The long term idea is to make reprocessing easier by for
example hiding the way the original comes into the
processing code.

Use logging.config.fileConfig()

Instead of the monster I had built before.

Use system wide EXIF package, if available.

Created and tested by Simon Fondrie-Teitler.

Thanks!

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Rename {{title}} to {{media_title}}.

Rename a variable in a translated string to make it easier
for translators to know what they're dealing with.

And add a <title/> block.

Mark "Collection" for translation in media_collect.

Merge remote-tracking branch 'aleksej/quotes_and_a_for_addcoll'

* aleksej/quotes_and_a_for_addcoll:
  Small changes to "Add <media> to collection" string

Small changes to "Add <media> to collection" string

Add quotation marks and "a" ("a" was proposed by Elrond).

Issue 621: Extract strings from hooked templates.

templates using the new hook system were not extracted
properly. One needs to add the new extension to the
extraction process as well.

Search for translation in all templates.

We missed to search for translatable strings in our plugins
and other things that might have templates.

The search is now for **/templates/**.html. That should
catch a lot more.

issue 615: config geolocation_map_visible gone.

The template in the geolocation plugin still used the old
config option. Just remove that. To enable it, you enable
the plugin. No need for extra config.

Tested by manwesulimo2004 (via IRC).