Audio: Add models and disable media_data.

1. Add a super-minimal media_data table for audio.
   It currently contains nothing.
   Like the ascii one.

2. To avoid media_data trouble -- for now -- disable the
   creation of media_data completrly.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Seeking works in firefox

- Added support for indicating multiple buffered
  ranges (Firefox)
- Added volume slider (Chromium)
- Replaced stop button with faux pause button
- Added 'ended' event handler

The video media_type needs pygtk/gtk.

Note in the docs, that the video media_type needs the gtk
and pygtk modules and where to get them on debian.

411: Add relationship and backrefs to media_data tables.

Adding proper relationship()s and especially backref()s
will delete media_data rows along with the main MediaEntry.
This fixes #411.

Changed audio.* Image* imports

so that they no longer import from PIL explicitly.
This is due to explicit PIL.Image* imports failing
on a Ubuntu machine within virtualenv.

PIL is a mystery I have yet to find the energy to unravel.

The 'implicit' approach works both for the affected
machine and my local machine and I've seen it more often
out in the wild, so I'm assuming it is the right way.

Fixed test_submission -> test_evil_file test

Merge remote-tracking branch 'joar/audio+sniffing'

Conflicts:
mediagoblin/media_types/image/processing.py
mediagoblin/media_types/video/__init__.py
mediagoblin/media_types/video/processing.py
mediagoblin/tests/test_submission.py

Removing superfluous whitespace

Merge remote-tracking branch 'remotes/slikdigit/bassam'

Conflicts:
mediagoblin/media_types/image/processing.py

Merge remote-tracking branch 'remotes/bretts/bug261-resized-filenames'

Add comment in JavaScript file about duplicating the password field

Merge remote branch 'origin/master' into bug261-resized-filenames

This merge involved moving the new FilenameBuilder class to
processing/__init__.py, and putting the comment deletion tests back into
test_submission.py using the refactored functions.

Rename to FilenameBuilder, with a main method named fill.

I think these names better convey what's actually going on.  I updated the
documentation a bit while I was at it.

Media type refractors, pep8, lint

- Removed THUMB_SIZE, MEDIUM_SIZE constants, depend on
  configuration values instead.
- pep8 refractoring

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Merge remote-tracking branch 'gandaro/forgot-password-autofillin'

* gandaro/forgot-password-autofillin:
  set username default server-side
  Fill username automatically in (Forget Password)

set username default server-side

Header style change

Refactor video processing to use FilenameMunger.

Use FilenameMunger.

Add documentation to the FilenameMunger class.

Add FilenameMunger class to processing, with tests.

Munging filenames is something all media type processors want to be able to
do, so I'm refactoring it out into a nice bite-sized class.

Drop debug from migration.

Cleanup mongo->sql converter.

1. No need to drop media_data['exif'], we only have and
   want media_data['exif_all'].

2. Use media['_id'] instead of media._id (better not use
   dot-notation on mongo objects in such a low level tool).

Do not fill media_data['exif'] any more.

Migration fixup: Drop empty exif_all.

If the exif info is totally empty, do not add it at all to
the media_data dict in mongo.

Create migration to move exif data around in media_data.

Move media_data['exif']['clean'] to media_data['exif_all']
drop media_data['exif']['useful']
drop media_data['exif']

Use exif_display_iter in the template.

As the newly created entries have media_data.exif_all use
the exif_display_iter method to calculate the exif entries
for displaying on the fly.

After the mongo migration all the old entries will also
have exif_all and will work again.

Start to fill media_data.exif_all in addition.

In addition to filling the normal slot media_data['exif'],
now also fill media_data.exif_all. This is the new slot
used by SQL.
For a few moments this will create duplicated entries in
the mongo db. But this shouldn't hurt.

Fill username automatically in (Forget Password)

Fill the username automatically in the "Forget Password" form
if the user already entered his username on the login page

Merge remote-tracking branch 'remotes/gandaro/wipealldata-from-db_name'

Wipe the configured database, not the default one

Allow arrow keys in input fields and textareas

If you pressed an arrow key in a textarea before, the next/previous media
was opened.

remove unused `mg.submit.security' module

Fix cyclic import issue.

Oh well:

tools.exif -> processing -> db.util -> db.models -> db.mixin -> tools.exif

So import tools.exif locally in exif_display_iter()

Create MediaEntry.exif_display_iter()

MediaEntry.media_data.exif_all will contain all the
"clean" EXIF data.

MediaEntry.exif_display_iter() is an iterator that fetches
the most interesting entries for display from that data.

image_mediadata: Add exif_all column

Add copyright header to image/models.py

correct wrong version number

(`-dev' instead of `.dev')

New media_data row needs to know its MediaEntry's id.

When creating a new media_data row, the new row needs to
know the MediaEntry it is associated with. I have no idea,
why this worked before at all. Maybe some implicit tricks
by sqlalchemy?

Faster sniffing

- Sniffing now goes through the old extension-based filter before
  doing it the bitsniffing way.
- Refractored get_media_type_and_manager(filename).
- Removed ogg extension from video accepted extensions, audio
  will take care of that.
- Added custom audio player, still WIP,but working.
- Added test for sniffing. This only tests for the
  mediagoblin.media_types.image type, as that is the only
  one enabled from start.

Add index=True for some columns.

These are the columns that seem to make the most sense to
have an index on them.

Finally load all models.

Load all models for the media_types. This was stopped by a
celery problem. But that is now fixed.

Panel: Find "unprocessed" not "processing" entries.

Our entries in the queue are marked as "unprocessed" and
not as "processing" as the panel code wanted it to be. So
search for the correct string.

And fix the in-celeryd import.

So that celeryd also loads the task.

Move celery task into own task.py

Move the actual celery task from processing/__init__.py
into its own .../task.py. That way it can be imported as
needed.

Turn processing.py into a submodule.

processing.py -> processing/__init__.py

This is in preparation for splitting processing a bit.
The main reason for the split is celery setup: celery needs
to be setup before even importing and importing and
subclassing some of its parts. So it's better to move the
critical parts into their own submodule and import it as
late as needed.

Merge remote-tracking branch 'refs/remotes/brett/bug270-lazycelery-script'

Add tests for image processing.  Check filenames and image sizes.

This test helps verify that bug #261 is actually fixed.

In order to test that all the processed images are smaller, I needed to add
an image that's bigger than processing.MEDIUM_SIZE, hence bigblue.png.

Make a function to generate test image filenames.

Prefer nose assert_* methods to the assert built-in.

Refactor false image tests.

Refactor normal upload tests.

This is nice because it means we do *all* the normal sanity tests for *all*
the normal uploads.  check_url() can be used in other tests too.

Refactor MediaEntry fetches/checks into check_media().

Refactor data posts into one do_post function.

All the data posts in these tests had a lot of common code.  Putting all
that into a function makes it easier to write more tests (which I'll be
doing in a bit) and see what's really being tested.

More standard media_data model for ascii.

ascii doesn't use media_data at all. So it needs the most
basic media_data model. Fix it to take the current form.

Create load_models().

So all models are ready when connecting to the db and so
our "db" object has all models listed on it, create a
function to load all models from the media_types, etc. Call
it in setup_database()

Problem: This gives celery warnings, because celery is
imported before being setup properly. No idea how to fix
this now. So media-type loading is excluded from
load_models for now.

Import "Base" from base instead of models.

Import the "Base" class for models from db.sql.base instead
of db.sql.models.

Disable query logging for now, so we get nicer logs

As the queries are quite verbose, disable them for now.
Reenabling them should be done in the central logging
config, which is another story for celery and bin/gmg.

500 error because of subscripting instead of using attributes

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fixing manual tyop: MediaGoblin, not MediaGobiin (thanks gandaro!)

Removing print statements from convert_gps_media_data migration

Kind of useful to see but... I don't think they're needed, and I'm not
super comfortable with print statements being in migrations.  Seems
semi bloated!

small readability improvements in resize_image

Refactor image resize code, with better filenames (#261)

The code to make thumbnail- and medium-sized images in processing.py is
pretty similar, so I rolled that out into a separate function that we call
with different arguments as appropriate.

The new function should work identically to the old code, except it saves
images with filenames based on the original filename, like
`foobar.medium.jpg` instead of just `medium.jpg`.  This fixes bug #261.

Refactor lazyserver.sh to lazystarter.sh and provide lazycelery.sh (#270)

Bug #270 asks for a lazycelery.sh script much like lazyserver.sh.  Rather
than duplicate the code, I consolidated them into a single script,
lazystarter.sh.  The script reconfigures itself a bit, and runs a
particular server, based on the name that's used to call it, but no matter
what it uses the same code to offer help and find configuration files and
server launchers.  Hopefully this will make it easy to add other
features/fix bugs as needed in the future, and have them stay in sync.

Let convert_mongo_to_sql add Migration Records

The mongosql tool is really dumping directly into the sql
database and is trying not to use too much logic that might
change later.

So this means, it needs to create the migration records on
its own!
So add a bunch of records with version=0.

Merge remote-tracking branch 'brett/bug264-delete-comments-with-media'

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

mongo->sql conversion script now runs mongo migrations first, just in case

Remove sidedata class from html pages

Also ignore the /share/ directory

Small styling change for sidebar data

Make mediagoblin SQL models all use a consistent table naming scheme

When media is deleted, delete associated comments too.

The actual code is just a simple for loop; there might be a better
implementation but this is a fine start.  I also extended test_delete to
check this too.

Mongosql imports made celery get set up before we wanted it via ./bin/gmg commands

Just moved the import into the actual function.  That resolved the issue!

More/better translation.

- Try to preserve some translations (somehow).
- Mark "Tagged with" again for translation.
- Do not translate the empty string

Small formatting changes to footer text.

Create function to search media by slug.

Searching media by slug is easy on mongo. But doing the
joins in sqlalchemy is not as nice. So created a function
for doing it.

Well, and create the same function for mongo, so that it
also works.

Fix for mongo.

pymongo does not rewind a cursor after leaving a for loop.
So let us do it by hand. Well.

More efficient first element fetching and Dot-Notation.

_get_tag_name_from_entries:
1) Replace:
     if q.count():
       elem = q[0]
   by:
     for element in q:
       ...
       break

   this doesn't do two db queries but only one.

2) And another dose of Dot-Notation as usual.

Fix _get_tag_name_from_entries().

Replace == by =.

fix for ticket #404

Fix uploading of images (sql: media_data, exif).

When uploading a new image the processing code wants to set
the media_data['exif'] part. As exif is not yet in sql,
there is no way to make this work now. So the workaround is
to check for "no row exists yet" and just ignore exif.

Fix media display for no media_data row in sql.

If there is no media_data row for the current media (for
whatever reason, there might be good ones), let
MediaEntry.media_data not raise an exception but just
return None.

The exif display part now handles this by checking whether
.media_data.exif is defined (None has no attribute exif, so
it's undefined, all fine).

Implemented the MediaEntry .media_data type fields for SQL

Removing an unnecessary line of whitespace AND crediting Hugo Boyer for the ipython code!

Thanks Hugo Boyer!  I forgot to credit you in my last commit.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

ipython support in ./bin/gmg shell!

Add gps_altitude and gps_direction to image media_data.

Convert (gps) image media_data.

Add mongo_to_sql convert part for converting the media_data
for images. This currently drops the exif data and thus
only converts gps data.

Change image processing to create new .gps_*.

The processing should also create .gps_* instead of the old
['gps']['x']. To ease forward porting, use the new
media.media_data_init() to set the gps data in the media.

Use .gps_* in the template and add translations.

Instead of .gps.x use .gps_x and add some "is defined" and
stuff.

Also mark some strings for translation in here.

Migration to move gps data around

Move media_data["gps"]["*"] to media_data["gps_*"].
In preparation for media_data.gps_*

Merge branch 'elrond-sql-convert_video_data'

Fix VideoData insertion

Preserve existing translation

Provide a source link so we can comply with the AGPL