More standard media_data model for ascii.

ascii doesn't use media_data at all. So it needs the most
basic media_data model. Fix it to take the current form.

Create load_models().

So all models are ready when connecting to the db and so
our "db" object has all models listed on it, create a
function to load all models from the media_types, etc. Call
it in setup_database()

Problem: This gives celery warnings, because celery is
imported before being setup properly. No idea how to fix
this now. So media-type loading is excluded from
load_models for now.

Import "Base" from base instead of models.

Import the "Base" class for models from db.sql.base instead
of db.sql.models.

Disable query logging for now, so we get nicer logs

As the queries are quite verbose, disable them for now.
Reenabling them should be done in the central logging
config, which is another story for celery and bin/gmg.

500 error because of subscripting instead of using attributes

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fixing manual tyop: MediaGoblin, not MediaGobiin (thanks gandaro!)

Removing print statements from convert_gps_media_data migration

Kind of useful to see but... I don't think they're needed, and I'm not
super comfortable with print statements being in migrations.  Seems
semi bloated!

Let convert_mongo_to_sql add Migration Records

The mongosql tool is really dumping directly into the sql
database and is trying not to use too much logic that might
change later.

So this means, it needs to create the migration records on
its own!
So add a bunch of records with version=0.

Merge remote-tracking branch 'brett/bug264-delete-comments-with-media'

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

mongo->sql conversion script now runs mongo migrations first, just in case

Remove sidedata class from html pages

Also ignore the /share/ directory

Small styling change for sidebar data

Make mediagoblin SQL models all use a consistent table naming scheme

When media is deleted, delete associated comments too.

The actual code is just a simple for loop; there might be a better
implementation but this is a fine start.  I also extended test_delete to
check this too.

Mongosql imports made celery get set up before we wanted it via ./bin/gmg commands

Just moved the import into the actual function.  That resolved the issue!

More/better translation.

- Try to preserve some translations (somehow).
- Mark "Tagged with" again for translation.
- Do not translate the empty string

Small formatting changes to footer text.

Create function to search media by slug.

Searching media by slug is easy on mongo. But doing the
joins in sqlalchemy is not as nice. So created a function
for doing it.

Well, and create the same function for mongo, so that it
also works.

Fix for mongo.

pymongo does not rewind a cursor after leaving a for loop.
So let us do it by hand. Well.

More efficient first element fetching and Dot-Notation.

_get_tag_name_from_entries:
1) Replace:
     if q.count():
       elem = q[0]
   by:
     for element in q:
       ...
       break

   this doesn't do two db queries but only one.

2) And another dose of Dot-Notation as usual.

Fix _get_tag_name_from_entries().

Replace == by =.

Fix uploading of images (sql: media_data, exif).

When uploading a new image the processing code wants to set
the media_data['exif'] part. As exif is not yet in sql,
there is no way to make this work now. So the workaround is
to check for "no row exists yet" and just ignore exif.

Fix media display for no media_data row in sql.

If there is no media_data row for the current media (for
whatever reason, there might be good ones), let
MediaEntry.media_data not raise an exception but just
return None.

The exif display part now handles this by checking whether
.media_data.exif is defined (None has no attribute exif, so
it's undefined, all fine).

Implemented the MediaEntry .media_data type fields for SQL

Removing an unnecessary line of whitespace AND crediting Hugo Boyer for the ipython code!

Thanks Hugo Boyer!  I forgot to credit you in my last commit.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

ipython support in ./bin/gmg shell!

Add gps_altitude and gps_direction to image media_data.

Convert (gps) image media_data.

Add mongo_to_sql convert part for converting the media_data
for images. This currently drops the exif data and thus
only converts gps data.

Change image processing to create new .gps_*.

The processing should also create .gps_* instead of the old
['gps']['x']. To ease forward porting, use the new
media.media_data_init() to set the gps data in the media.

Use .gps_* in the template and add translations.

Instead of .gps.x use .gps_x and add some "is defined" and
stuff.

Also mark some strings for translation in here.

Migration to move gps data around

Move media_data["gps"]["*"] to media_data["gps_*"].
In preparation for media_data.gps_*

Merge branch 'elrond-sql-convert_video_data'

Fix VideoData insertion

Preserve existing translation

Provide a source link so we can comply with the AGPL

Convert media_data for video

This creates fresh VideoData rows for all the videos in the
mongodb.

Merge remote-tracking branch 'refs/remotes/chemhacker/bug402_nicer_skin_for_video'

Conflicts:
mediagoblin/templates/mediagoblin/media_displays/video.html

adding the video.js wrapper

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Another .one -> .find_one

Same idea as in the previous commit.
Joar caught this one.

To reproduce
1. Create a user with an all-decimal ObjectId in mongo
2. Login using that user, while mongodb is enabled.
3. Switch instance to sql.
4. Restart.
5. Refresh any page.

This will error, because no user with that object id exists
any more.

While around, improved logging.

Merge remote-tracking branch 'derek-moore/bug293_non_ascii_password'

Changes for 293.  Tests pass, encode UTF8 on password on registration (and also for subsequent logins once the user is created) is working.

Change user search from .one to .fine_one.

When searching for a user by username, there can either be
no result or one result. There is a unique constraint on
the db.

.one in mongokit raises an error for more than one result.
But that can't happen anyway. So no problem.

.one in sqlalchemy raises an error for more than one, but
that's not a problem anyway. It also raises an error for no
result. But no result is handled by the code anyway, so no
need to raise an exception.

.find_one doesn't raise an exception for more than one
result (no problem anyway) and just returns None for no
result. The later is handled by the code.

Better media_data sql table for images.

1. Change to the current primary key = media_entry id
   layout
2. Add gps_{latitude,longitude} to the table.

adds video preload bug 375

Added m4v to list of media types and a comment stating we should
autogenerate extension list

Slight change to thumbnail gallery style

Improve logging of sql queries a bit.

Docs:
  http://docs.sqlalchemy.org/en/latest/core/engines.html#configuring-logging

So for an application utilizing python logging for real
(and MediaGoblin should) the rule is:
- Don't use echo=True,
- but reconfigure the appropiate loggers' level.

So replaced the echo=True by a line to reconfigure the
appropiate logger to achieve the same effect.

This still dumps whole bloats of SQL queries into the main
log, but at least they're not duped any more.

Forgot to add FileKeynames to MODELS

Normalize MediaFile.name (make it a foreignkey)

The name part of a MediaFile is only using a very limited
number of items. Currently things like "original" or
"thumb".

So instead of storing the string on each entry, just store
a short integer referencing the FileKeynames table and have
the appropiate string there.

Changed from key-notation to dot-notation in edit_profile

SQL: Added MediaFile and MediaAttachmentFile to MODELS

Generic generate_slug for mongo and sql.

Using the new check_media_slug_used it is possible to have
one generic generate_slug in the mixin class instead of in
each db class.

In the sql variant self.id is not always set: If the slug
alone would create a dupe the current code decides for "no
slug at all".

Push another half-fix for portrait thumbnails. Man, this thing is breaking all over the place.

Sort-of fixes so the header does not collapse anymore. Header needs redesigning.

Header doesn't need a height

Actually decrease thumbnail size instead of just their containers

Translate less html.

Instead of translating <p ...>TEXT</p> just mark TEXT for
translation. That way formatting changes can be done
without affecting the translations.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Revert thumbnail gallery change: switch back to tables

Fix merge conflict in prev_next.html

Generic check_media_slug_used db utility.

In two cases (generating a new slug and editing the slug)
it is nice to know in advance (before the db gets angry)
that the slug is used/free. So created a db utility
function to check for this on mongo and sql:
check_media_slug_used()

SQL: Tool to cleanup unused tag slugs.

The current SQL layout/sqlalchemy strucuture can't detect
whether a slug isn't needed any more and delete it. So
provide a tool function to cleanup unused slugs.

It's currently not hooked to any gmg function!

Stop failing if there is no previous/next to go to

Merge branch 'keyboard_nav'

Edit css rule to allow users to zoom

Added the sql_switch.py script to .gitignore

Implement atomic_update for SQL.

On sqlalchemy most updates are atomic enough for most use
cases. Anyway, here is an atomic_update that is compatible
to the mongo version.

Create atomic_update db utility function

In some cases (notably the mark_entry_failed function) it
is useful to have atomic update functionality on the db. On
mongo this requires special syntax.

So created an atomic_update function for mongo and started
to use it in mark_entry_failed.

Add sidebar again

Merge branch 'newlayout' into newlayout-stage

Merge branch 'media_data_start'

* media_data_start:
  And media_data_init() for sql as a dummy
  Create a fake MediaEntry.media_data for sql
  Video media_data: Change layout in the mongo world

And media_data_init() for sql as a dummy

Needs to be implemented.

Create a fake MediaEntry.media_data for sql

So that the SQL backend is more useable, let the MediaEntry
have a faked media_data.
It's extremely fake: The returned dict is always a new one.
So any stored info is even lost!

Go go mediagoblin favico symmetry

Video media_data: Change layout in the mongo world

Change the media_data for video from
entry.media_data["video"] to use entry.media_data directly.

Also start a bare MediaEntry.media_data_init(**kwargs)
method for setting up the media_data and possibly
initialising it with kwargs.

SQL: Improve video media_data table

1. Make the foreignkey the primary_key.
2. Add width/height, as those are currently in use for the
   media_data

Cleanup Session after each request.

It's good practice to cleanup the SQL session after each
request so that the next request gets a fresh one.

It's an application decision whether one wants a
just-in-case ROLLBACK or COMMIT. There are two ideas behind
it, really. I have decided for ROLLBACK. The idea is "if
you forget to commit your changes yourself, there's
something broken. Maybe you got an exception?".

Attachment support in the SQL backend

attachments working with the sql backend.

- SQL Schema for attachment files, ordering attachments by
  their name, not by the submission order (as earlier).
- Dot-Notation for attachments, where missing.
- convert existing attachments over from mongo -> sql

Fix tests given recent celery "case" change

Accidentally overwrote the celery/__init__.py, fixed this and removed the upper correctly

Changed celery config keys to upper case and removed upper casing of keys when initialising the config as per issue #214

Let mark_entry_failed log unknown exceptions

I don't know exactly why, but an exception during
processing hasn't found its way up. The entry was marked as
failed and that was it. So I decided to add a _log.warn to
the part of mark_entry_failed that handles general
exceptions.

Merge remote-tracking branch 'cwebber/celerysql'

* cwebber/celerysql:
  Adjust unit tests to match new celery/kombu sqlalchemy setup
  "database" is not the sqlalchemy kombu transport... should be "sqlalchemy"
  Celery and kombu databases should also be .gitignore'd
  kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work
  Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.
  Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)
  Apparently an absolute path is three slashes after sqlite:.  Thx elrond.
  Should be all that's needed to switch celery/kombu settings to sqlalchemy

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Adjust unit tests to match new celery/kombu sqlalchemy setup

"database" is not the sqlalchemy kombu transport... should be "sqlalchemy"

Celery and kombu databases should also be .gitignore'd

kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work

Let SQL objects support .setdefault() and .delete()

Some parts in the code like to use .setdefault(). So make
them happy and provide a minimal version. It ignores the
given default and expects the attribute to already exist.

Other parts use .delete() to delete a complete object. This
version expects the object to live in a session and also
does the final commit.

Dot-Notation: MediaComment and some random places

Let Main Server emit startup notice including version

There was no place in the software telling the user the
version in use. So start by having the main server emit a
startup notice including the version string. Uses python
logging, so should be easy to reconfigure, etc.

Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.

Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)