Merge remote-tracking branch 'refs/remotes/elrond/sql/final'

Conflicts:
mediagoblin/tests/test_submission.py

Also, WHOO SQL SWITCHOVER PARTY!

        ASCII DANCE PARTY

    /_o_/    \ /   \o_    o
     (       _|_    )    //)
     /\     / o \  /|     /|

      *BMCH BMCH BMCH BMCH*
%
 /_o_/   HHHYAAaaaaa
  /_
 / /
%
AAAAAHAHAHAHAHHHAAHA
       ,,          .------
      o_o ;;       /\\     \    $  __
      '\/ ||      // \\     #     /_/
        \//      // //\\     \
         )             \\     \   %
        \\              \\_____\
        | )            //-------
       /_/_           //     //

       SWITCH YOUR DATABASE
     FLIP A FUKKEN BOOLEAN
%
             __________
          .-'          '-.
        .'                '.
      .'  _--_        _--_  '.
     /   /  (_).     /  (_).  \
    .   |      |    |      |   .
    |    ._____,     ._____,   |
    |   ____________________   |
    |    |                 |   |
    '    \                 /   '
     \    '.        .----./   /
      \     '._    /     /   /
       '.      '--------'  .'
         '._            _.'
            '----------'

Fix unit tests for sql: cache media_id.

Attributes of SQLAlchemy objects get "lost". So "cache"
them locally in the code.
This is really the simple explanation for some scarry
sqlalchemy details.

Finally enable SQL for everybody!

This switches the whole source code over to use sql instead
of mongodb. It's a pretty easy change, but changes nearly
the complete way things work. Hopefully everythong works!

Switch JSONEncoded from VARCHAR to TEXT

The JSON fields are really "dumb stuff in here" fields.
They are not intended to get indexed or anything. And they
can get large. For example the exif_all field in one of my
simple tests is nearly 7 kB large. Although VARCHAR might
work, TEXT feels just better as the storage type.

JS: fix first part of #422; make items in drop-down acutally work

CSS: change padding-left to margin-left

CSS: change comment margins

HTML/CSS: comment style changes

HTML: remove elements for comment button style change

CSS: remove background

Logo margin fix

Add dropdown to header

Revert changes from last commit; I am an idiot

Switch over content to new layout/text; slight css edits

Increase bottom margin header

Small CSS changes to header

Added pygst.require('0.10') since it's absence breaks stuff

Updated Video docs, so that I won't forget

Cleaned up media_types.video.transcoders

And remove some now useless methods.

Remove the DictReadProxy thing.

And some other stuff, that the converter does not need.

Fix some simple errors.

Change models to a _v0 suffix.

And add the image and video media_data tables.
And start to rewrite the convert tool.

Make a copy of models for v0.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Cleanded up video imports, removed PyGTK dependency

Audio: And add empty migrations.

Audio: Add models and disable media_data.

1. Add a super-minimal media_data table for audio.
   It currently contains nothing.
   Like the ascii one.

2. To avoid media_data trouble -- for now -- disable the
   creation of media_data completrly.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Seeking works in firefox

- Added support for indicating multiple buffered
  ranges (Firefox)
- Added volume slider (Chromium)
- Replaced stop button with faux pause button
- Added 'ended' event handler

The video media_type needs pygtk/gtk.

Note in the docs, that the video media_type needs the gtk
and pygtk modules and where to get them on debian.

411: Add relationship and backrefs to media_data tables.

Adding proper relationship()s and especially backref()s
will delete media_data rows along with the main MediaEntry.
This fixes #411.

Changed audio.* Image* imports

so that they no longer import from PIL explicitly.
This is due to explicit PIL.Image* imports failing
on a Ubuntu machine within virtualenv.

PIL is a mystery I have yet to find the energy to unravel.

The 'implicit' approach works both for the affected
machine and my local machine and I've seen it more often
out in the wild, so I'm assuming it is the right way.

Fixed test_submission -> test_evil_file test

Merge remote-tracking branch 'joar/audio+sniffing'

Conflicts:
mediagoblin/media_types/image/processing.py
mediagoblin/media_types/video/__init__.py
mediagoblin/media_types/video/processing.py
mediagoblin/tests/test_submission.py

Removing superfluous whitespace

Merge remote-tracking branch 'remotes/slikdigit/bassam'

Conflicts:
mediagoblin/media_types/image/processing.py

Merge remote-tracking branch 'remotes/bretts/bug261-resized-filenames'

Reload the user for current values.

This might not be needed, but it helped at one point.

Reload and detach the test user.

The code often needs to know some fields of the test user
even after doing some sql and stuff. The solultion is to
reload it and properly detach it from its Session. That way
all its fields are available and the whole thing is not
connected to a session. It feels like a normal object.

Add comment in JavaScript file about duplicating the password field

Merge remote branch 'origin/master' into bug261-resized-filenames

This merge involved moving the new FilenameBuilder class to
processing/__init__.py, and putting the comment deletion tests back into
test_submission.py using the refactored functions.

Rename to FilenameBuilder, with a main method named fill.

I think these names better convey what's actually going on.  I updated the
documentation a bit while I was at it.

TestSubission's tag check stuff passing now

Remove the user_dev directory on tests ending

(We used to remove the mongo db on tests ending...)

Suggest we move to an in-memory database ;)

SQL based tests and refactored Celery setup stuff

 - Changed config files of test configs to use SQL
 - Updated celery initialization tools, factored them to be able to
   use the "big instance" application stuff

Media type refractors, pep8, lint

- Removed THUMB_SIZE, MEDIUM_SIZE constants, depend on
  configuration values instead.
- pep8 refractoring

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Merge remote-tracking branch 'gandaro/forgot-password-autofillin'

* gandaro/forgot-password-autofillin:
  set username default server-side
  Fill username automatically in (Forget Password)

set username default server-side

Header style change

Refactor video processing to use FilenameMunger.

Use FilenameMunger.

Add documentation to the FilenameMunger class.

Add FilenameMunger class to processing, with tests.

Munging filenames is something all media type processors want to be able to
do, so I'm refactoring it out into a nice bite-sized class.

Drop debug from migration.

Cleanup mongo->sql converter.

1. No need to drop media_data['exif'], we only have and
   want media_data['exif_all'].

2. Use media['_id'] instead of media._id (better not use
   dot-notation on mongo objects in such a low level tool).

Do not fill media_data['exif'] any more.

Migration fixup: Drop empty exif_all.

If the exif info is totally empty, do not add it at all to
the media_data dict in mongo.

Create migration to move exif data around in media_data.

Move media_data['exif']['clean'] to media_data['exif_all']
drop media_data['exif']['useful']
drop media_data['exif']

Use exif_display_iter in the template.

As the newly created entries have media_data.exif_all use
the exif_display_iter method to calculate the exif entries
for displaying on the fly.

After the mongo migration all the old entries will also
have exif_all and will work again.

Start to fill media_data.exif_all in addition.

In addition to filling the normal slot media_data['exif'],
now also fill media_data.exif_all. This is the new slot
used by SQL.
For a few moments this will create duplicated entries in
the mongo db. But this shouldn't hurt.

Fill username automatically in (Forget Password)

Fill the username automatically in the "Forget Password" form
if the user already entered his username on the login page

Merge remote-tracking branch 'remotes/gandaro/wipealldata-from-db_name'

Wipe the configured database, not the default one

Allow arrow keys in input fields and textareas

If you pressed an arrow key in a textarea before, the next/previous media
was opened.

remove unused `mg.submit.security' module

Fix cyclic import issue.

Oh well:

tools.exif -> processing -> db.util -> db.models -> db.mixin -> tools.exif

So import tools.exif locally in exif_display_iter()

Create MediaEntry.exif_display_iter()

MediaEntry.media_data.exif_all will contain all the
"clean" EXIF data.

MediaEntry.exif_display_iter() is an iterator that fetches
the most interesting entries for display from that data.

image_mediadata: Add exif_all column

Add copyright header to image/models.py

correct wrong version number

(`-dev' instead of `.dev')

New media_data row needs to know its MediaEntry's id.

When creating a new media_data row, the new row needs to
know the MediaEntry it is associated with. I have no idea,
why this worked before at all. Maybe some implicit tricks
by sqlalchemy?

Faster sniffing

- Sniffing now goes through the old extension-based filter before
  doing it the bitsniffing way.
- Refractored get_media_type_and_manager(filename).
- Removed ogg extension from video accepted extensions, audio
  will take care of that.
- Added custom audio player, still WIP,but working.
- Added test for sniffing. This only tests for the
  mediagoblin.media_types.image type, as that is the only
  one enabled from start.

Add index=True for some columns.

These are the columns that seem to make the most sense to
have an index on them.

Finally load all models.

Load all models for the media_types. This was stopped by a
celery problem. But that is now fixed.

Panel: Find "unprocessed" not "processing" entries.

Our entries in the queue are marked as "unprocessed" and
not as "processing" as the panel code wanted it to be. So
search for the correct string.

And fix the in-celeryd import.

So that celeryd also loads the task.

Move celery task into own task.py

Move the actual celery task from processing/__init__.py
into its own .../task.py. That way it can be imported as
needed.

Turn processing.py into a submodule.

processing.py -> processing/__init__.py

This is in preparation for splitting processing a bit.
The main reason for the split is celery setup: celery needs
to be setup before even importing and importing and
subclassing some of its parts. So it's better to move the
critical parts into their own submodule and import it as
late as needed.

Merge remote-tracking branch 'refs/remotes/brett/bug270-lazycelery-script'

Add tests for image processing.  Check filenames and image sizes.

This test helps verify that bug #261 is actually fixed.

In order to test that all the processed images are smaller, I needed to add
an image that's bigger than processing.MEDIUM_SIZE, hence bigblue.png.

Make a function to generate test image filenames.

Prefer nose assert_* methods to the assert built-in.

Refactor false image tests.

Refactor normal upload tests.

This is nice because it means we do *all* the normal sanity tests for *all*
the normal uploads.  check_url() can be used in other tests too.

Refactor MediaEntry fetches/checks into check_media().

Refactor data posts into one do_post function.

All the data posts in these tests had a lot of common code.  Putting all
that into a function makes it easier to write more tests (which I'll be
doing in a bit) and see what's really being tested.

More standard media_data model for ascii.

ascii doesn't use media_data at all. So it needs the most
basic media_data model. Fix it to take the current form.

Create load_models().

So all models are ready when connecting to the db and so
our "db" object has all models listed on it, create a
function to load all models from the media_types, etc. Call
it in setup_database()

Problem: This gives celery warnings, because celery is
imported before being setup properly. No idea how to fix
this now. So media-type loading is excluded from
load_models for now.

Import "Base" from base instead of models.

Import the "Base" class for models from db.sql.base instead
of db.sql.models.

Disable query logging for now, so we get nicer logs

As the queries are quite verbose, disable them for now.
Reenabling them should be done in the central logging
config, which is another story for celery and bin/gmg.

500 error because of subscripting instead of using attributes

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fixing manual tyop: MediaGoblin, not MediaGobiin (thanks gandaro!)

Removing print statements from convert_gps_media_data migration

Kind of useful to see but... I don't think they're needed, and I'm not
super comfortable with print statements being in migrations.  Seems
semi bloated!

small readability improvements in resize_image

Refactor image resize code, with better filenames (#261)

The code to make thumbnail- and medium-sized images in processing.py is
pretty similar, so I rolled that out into a separate function that we call
with different arguments as appropriate.

The new function should work identically to the old code, except it saves
images with filenames based on the original filename, like
`foobar.medium.jpg` instead of just `medium.jpg`.  This fixes bug #261.