Remove the user_dev directory on tests ending

(We used to remove the mongo db on tests ending...)

Suggest we move to an in-memory database ;)

SQL based tests and refactored Celery setup stuff

 - Changed config files of test configs to use SQL
 - Updated celery initialization tools, factored them to be able to
   use the "big instance" application stuff

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Merge remote-tracking branch 'gandaro/forgot-password-autofillin'

* gandaro/forgot-password-autofillin:
  set username default server-side
  Fill username automatically in (Forget Password)

set username default server-side

Header style change

Drop debug from migration.

Cleanup mongo->sql converter.

1. No need to drop media_data['exif'], we only have and
   want media_data['exif_all'].

2. Use media['_id'] instead of media._id (better not use
   dot-notation on mongo objects in such a low level tool).

Do not fill media_data['exif'] any more.

Migration fixup: Drop empty exif_all.

If the exif info is totally empty, do not add it at all to
the media_data dict in mongo.

Create migration to move exif data around in media_data.

Move media_data['exif']['clean'] to media_data['exif_all']
drop media_data['exif']['useful']
drop media_data['exif']

Use exif_display_iter in the template.

As the newly created entries have media_data.exif_all use
the exif_display_iter method to calculate the exif entries
for displaying on the fly.

After the mongo migration all the old entries will also
have exif_all and will work again.

Start to fill media_data.exif_all in addition.

In addition to filling the normal slot media_data['exif'],
now also fill media_data.exif_all. This is the new slot
used by SQL.
For a few moments this will create duplicated entries in
the mongo db. But this shouldn't hurt.

Fill username automatically in (Forget Password)

Fill the username automatically in the "Forget Password" form
if the user already entered his username on the login page

Merge remote-tracking branch 'remotes/gandaro/wipealldata-from-db_name'

Wipe the configured database, not the default one

Allow arrow keys in input fields and textareas

If you pressed an arrow key in a textarea before, the next/previous media
was opened.

remove unused `mg.submit.security' module

Fix cyclic import issue.

Oh well:

tools.exif -> processing -> db.util -> db.models -> db.mixin -> tools.exif

So import tools.exif locally in exif_display_iter()

Create MediaEntry.exif_display_iter()

MediaEntry.media_data.exif_all will contain all the
"clean" EXIF data.

MediaEntry.exif_display_iter() is an iterator that fetches
the most interesting entries for display from that data.

image_mediadata: Add exif_all column

Add copyright header to image/models.py

correct wrong version number

(`-dev' instead of `.dev')

New media_data row needs to know its MediaEntry's id.

When creating a new media_data row, the new row needs to
know the MediaEntry it is associated with. I have no idea,
why this worked before at all. Maybe some implicit tricks
by sqlalchemy?

Add index=True for some columns.

These are the columns that seem to make the most sense to
have an index on them.

Finally load all models.

Load all models for the media_types. This was stopped by a
celery problem. But that is now fixed.

Panel: Find "unprocessed" not "processing" entries.

Our entries in the queue are marked as "unprocessed" and
not as "processing" as the panel code wanted it to be. So
search for the correct string.

And fix the in-celeryd import.

So that celeryd also loads the task.

Move celery task into own task.py

Move the actual celery task from processing/__init__.py
into its own .../task.py. That way it can be imported as
needed.

Turn processing.py into a submodule.

processing.py -> processing/__init__.py

This is in preparation for splitting processing a bit.
The main reason for the split is celery setup: celery needs
to be setup before even importing and importing and
subclassing some of its parts. So it's better to move the
critical parts into their own submodule and import it as
late as needed.

Merge remote-tracking branch 'refs/remotes/brett/bug270-lazycelery-script'

More standard media_data model for ascii.

ascii doesn't use media_data at all. So it needs the most
basic media_data model. Fix it to take the current form.

Create load_models().

So all models are ready when connecting to the db and so
our "db" object has all models listed on it, create a
function to load all models from the media_types, etc. Call
it in setup_database()

Problem: This gives celery warnings, because celery is
imported before being setup properly. No idea how to fix
this now. So media-type loading is excluded from
load_models for now.

Import "Base" from base instead of models.

Import the "Base" class for models from db.sql.base instead
of db.sql.models.

Disable query logging for now, so we get nicer logs

As the queries are quite verbose, disable them for now.
Reenabling them should be done in the central logging
config, which is another story for celery and bin/gmg.

500 error because of subscripting instead of using attributes

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fixing manual tyop: MediaGoblin, not MediaGobiin (thanks gandaro!)

Removing print statements from convert_gps_media_data migration

Kind of useful to see but... I don't think they're needed, and I'm not
super comfortable with print statements being in migrations.  Seems
semi bloated!

Refactor lazyserver.sh to lazystarter.sh and provide lazycelery.sh (#270)

Bug #270 asks for a lazycelery.sh script much like lazyserver.sh.  Rather
than duplicate the code, I consolidated them into a single script,
lazystarter.sh.  The script reconfigures itself a bit, and runs a
particular server, based on the name that's used to call it, but no matter
what it uses the same code to offer help and find configuration files and
server launchers.  Hopefully this will make it easy to add other
features/fix bugs as needed in the future, and have them stay in sync.

Let convert_mongo_to_sql add Migration Records

The mongosql tool is really dumping directly into the sql
database and is trying not to use too much logic that might
change later.

So this means, it needs to create the migration records on
its own!
So add a bunch of records with version=0.

Merge remote-tracking branch 'brett/bug264-delete-comments-with-media'

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

mongo->sql conversion script now runs mongo migrations first, just in case

Remove sidedata class from html pages

Also ignore the /share/ directory

Small styling change for sidebar data

Make mediagoblin SQL models all use a consistent table naming scheme

When media is deleted, delete associated comments too.

The actual code is just a simple for loop; there might be a better
implementation but this is a fine start.  I also extended test_delete to
check this too.

Mongosql imports made celery get set up before we wanted it via ./bin/gmg commands

Just moved the import into the actual function.  That resolved the issue!

More/better translation.

- Try to preserve some translations (somehow).
- Mark "Tagged with" again for translation.
- Do not translate the empty string

Small formatting changes to footer text.

Create function to search media by slug.

Searching media by slug is easy on mongo. But doing the
joins in sqlalchemy is not as nice. So created a function
for doing it.

Well, and create the same function for mongo, so that it
also works.

Fix for mongo.

pymongo does not rewind a cursor after leaving a for loop.
So let us do it by hand. Well.

More efficient first element fetching and Dot-Notation.

_get_tag_name_from_entries:
1) Replace:
     if q.count():
       elem = q[0]
   by:
     for element in q:
       ...
       break

   this doesn't do two db queries but only one.

2) And another dose of Dot-Notation as usual.

Fix _get_tag_name_from_entries().

Replace == by =.

Fix uploading of images (sql: media_data, exif).

When uploading a new image the processing code wants to set
the media_data['exif'] part. As exif is not yet in sql,
there is no way to make this work now. So the workaround is
to check for "no row exists yet" and just ignore exif.

Fix media display for no media_data row in sql.

If there is no media_data row for the current media (for
whatever reason, there might be good ones), let
MediaEntry.media_data not raise an exception but just
return None.

The exif display part now handles this by checking whether
.media_data.exif is defined (None has no attribute exif, so
it's undefined, all fine).

Implemented the MediaEntry .media_data type fields for SQL

Removing an unnecessary line of whitespace AND crediting Hugo Boyer for the ipython code!

Thanks Hugo Boyer!  I forgot to credit you in my last commit.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

ipython support in ./bin/gmg shell!

Add gps_altitude and gps_direction to image media_data.

Convert (gps) image media_data.

Add mongo_to_sql convert part for converting the media_data
for images. This currently drops the exif data and thus
only converts gps data.

Change image processing to create new .gps_*.

The processing should also create .gps_* instead of the old
['gps']['x']. To ease forward porting, use the new
media.media_data_init() to set the gps data in the media.

Use .gps_* in the template and add translations.

Instead of .gps.x use .gps_x and add some "is defined" and
stuff.

Also mark some strings for translation in here.

Migration to move gps data around

Move media_data["gps"]["*"] to media_data["gps_*"].
In preparation for media_data.gps_*

Merge branch 'elrond-sql-convert_video_data'

Fix VideoData insertion

Preserve existing translation

Provide a source link so we can comply with the AGPL

Convert media_data for video

This creates fresh VideoData rows for all the videos in the
mongodb.

Merge remote-tracking branch 'refs/remotes/chemhacker/bug402_nicer_skin_for_video'

Conflicts:
mediagoblin/templates/mediagoblin/media_displays/video.html

adding the video.js wrapper

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Another .one -> .find_one

Same idea as in the previous commit.
Joar caught this one.

To reproduce
1. Create a user with an all-decimal ObjectId in mongo
2. Login using that user, while mongodb is enabled.
3. Switch instance to sql.
4. Restart.
5. Refresh any page.

This will error, because no user with that object id exists
any more.

While around, improved logging.

Merge remote-tracking branch 'derek-moore/bug293_non_ascii_password'

Changes for 293.  Tests pass, encode UTF8 on password on registration (and also for subsequent logins once the user is created) is working.

Change user search from .one to .fine_one.

When searching for a user by username, there can either be
no result or one result. There is a unique constraint on
the db.

.one in mongokit raises an error for more than one result.
But that can't happen anyway. So no problem.

.one in sqlalchemy raises an error for more than one, but
that's not a problem anyway. It also raises an error for no
result. But no result is handled by the code anyway, so no
need to raise an exception.

.find_one doesn't raise an exception for more than one
result (no problem anyway) and just returns None for no
result. The later is handled by the code.

Better media_data sql table for images.

1. Change to the current primary key = media_entry id
   layout
2. Add gps_{latitude,longitude} to the table.

adds video preload bug 375

Added m4v to list of media types and a comment stating we should
autogenerate extension list

Slight change to thumbnail gallery style

Improve logging of sql queries a bit.

Docs:
  http://docs.sqlalchemy.org/en/latest/core/engines.html#configuring-logging

So for an application utilizing python logging for real
(and MediaGoblin should) the rule is:
- Don't use echo=True,
- but reconfigure the appropiate loggers' level.

So replaced the echo=True by a line to reconfigure the
appropiate logger to achieve the same effect.

This still dumps whole bloats of SQL queries into the main
log, but at least they're not duped any more.

Forgot to add FileKeynames to MODELS

Normalize MediaFile.name (make it a foreignkey)

The name part of a MediaFile is only using a very limited
number of items. Currently things like "original" or
"thumb".

So instead of storing the string on each entry, just store
a short integer referencing the FileKeynames table and have
the appropiate string there.

Changed from key-notation to dot-notation in edit_profile

SQL: Added MediaFile and MediaAttachmentFile to MODELS

Generic generate_slug for mongo and sql.

Using the new check_media_slug_used it is possible to have
one generic generate_slug in the mixin class instead of in
each db class.

In the sql variant self.id is not always set: If the slug
alone would create a dupe the current code decides for "no
slug at all".

Push another half-fix for portrait thumbnails. Man, this thing is breaking all over the place.

Sort-of fixes so the header does not collapse anymore. Header needs redesigning.

Header doesn't need a height

Actually decrease thumbnail size instead of just their containers

Translate less html.

Instead of translating <p ...>TEXT</p> just mark TEXT for
translation. That way formatting changes can be done
without affecting the translations.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Revert thumbnail gallery change: switch back to tables

Fix merge conflict in prev_next.html

Generic check_media_slug_used db utility.

In two cases (generating a new slug and editing the slug)
it is nice to know in advance (before the db gets angry)
that the slug is used/free. So created a db utility
function to check for this on mongo and sql:
check_media_slug_used()