Refactor lazyserver.sh to lazystarter.sh and provide lazycelery.sh (#270)

Bug #270 asks for a lazycelery.sh script much like lazyserver.sh.  Rather
than duplicate the code, I consolidated them into a single script,
lazystarter.sh.  The script reconfigures itself a bit, and runs a
particular server, based on the name that's used to call it, but no matter
what it uses the same code to offer help and find configuration files and
server launchers.  Hopefully this will make it easy to add other
features/fix bugs as needed in the future, and have them stay in sync.

More/better translation.

- Try to preserve some translations (somehow).
- Mark "Tagged with" again for translation.
- Do not translate the empty string

Small formatting changes to footer text.

Create function to search media by slug.

Searching media by slug is easy on mongo. But doing the
joins in sqlalchemy is not as nice. So created a function
for doing it.

Well, and create the same function for mongo, so that it
also works.

Fix for mongo.

pymongo does not rewind a cursor after leaving a for loop.
So let us do it by hand. Well.

More efficient first element fetching and Dot-Notation.

_get_tag_name_from_entries:
1) Replace:
     if q.count():
       elem = q[0]
   by:
     for element in q:
       ...
       break

   this doesn't do two db queries but only one.

2) And another dose of Dot-Notation as usual.

Fix _get_tag_name_from_entries().

Replace == by =.

Fix uploading of images (sql: media_data, exif).

When uploading a new image the processing code wants to set
the media_data['exif'] part. As exif is not yet in sql,
there is no way to make this work now. So the workaround is
to check for "no row exists yet" and just ignore exif.

Fix media display for no media_data row in sql.

If there is no media_data row for the current media (for
whatever reason, there might be good ones), let
MediaEntry.media_data not raise an exception but just
return None.

The exif display part now handles this by checking whether
.media_data.exif is defined (None has no attribute exif, so
it's undefined, all fine).

Implemented the MediaEntry .media_data type fields for SQL

Removing an unnecessary line of whitespace AND crediting Hugo Boyer for the ipython code!

Thanks Hugo Boyer!  I forgot to credit you in my last commit.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

ipython support in ./bin/gmg shell!

Add gps_altitude and gps_direction to image media_data.

Convert (gps) image media_data.

Add mongo_to_sql convert part for converting the media_data
for images. This currently drops the exif data and thus
only converts gps data.

Change image processing to create new .gps_*.

The processing should also create .gps_* instead of the old
['gps']['x']. To ease forward porting, use the new
media.media_data_init() to set the gps data in the media.

Use .gps_* in the template and add translations.

Instead of .gps.x use .gps_x and add some "is defined" and
stuff.

Also mark some strings for translation in here.

Migration to move gps data around

Move media_data["gps"]["*"] to media_data["gps_*"].
In preparation for media_data.gps_*

Merge branch 'elrond-sql-convert_video_data'

Fix VideoData insertion

Preserve existing translation

Provide a source link so we can comply with the AGPL

Convert media_data for video

This creates fresh VideoData rows for all the videos in the
mongodb.

Merge remote-tracking branch 'refs/remotes/chemhacker/bug402_nicer_skin_for_video'

Conflicts:
mediagoblin/templates/mediagoblin/media_displays/video.html

adding the video.js wrapper

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Another .one -> .find_one

Same idea as in the previous commit.
Joar caught this one.

To reproduce
1. Create a user with an all-decimal ObjectId in mongo
2. Login using that user, while mongodb is enabled.
3. Switch instance to sql.
4. Restart.
5. Refresh any page.

This will error, because no user with that object id exists
any more.

While around, improved logging.

Merge remote-tracking branch 'derek-moore/bug293_non_ascii_password'

Changes for 293.  Tests pass, encode UTF8 on password on registration (and also for subsequent logins once the user is created) is working.

Change user search from .one to .fine_one.

When searching for a user by username, there can either be
no result or one result. There is a unique constraint on
the db.

.one in mongokit raises an error for more than one result.
But that can't happen anyway. So no problem.

.one in sqlalchemy raises an error for more than one, but
that's not a problem anyway. It also raises an error for no
result. But no result is handled by the code anyway, so no
need to raise an exception.

.find_one doesn't raise an exception for more than one
result (no problem anyway) and just returns None for no
result. The later is handled by the code.

Better media_data sql table for images.

1. Change to the current primary key = media_entry id
   layout
2. Add gps_{latitude,longitude} to the table.

adds video preload bug 375

Added m4v to list of media types and a comment stating we should
autogenerate extension list

Slight change to thumbnail gallery style

Improve logging of sql queries a bit.

Docs:
  http://docs.sqlalchemy.org/en/latest/core/engines.html#configuring-logging

So for an application utilizing python logging for real
(and MediaGoblin should) the rule is:
- Don't use echo=True,
- but reconfigure the appropiate loggers' level.

So replaced the echo=True by a line to reconfigure the
appropiate logger to achieve the same effect.

This still dumps whole bloats of SQL queries into the main
log, but at least they're not duped any more.

Forgot to add FileKeynames to MODELS

Normalize MediaFile.name (make it a foreignkey)

The name part of a MediaFile is only using a very limited
number of items. Currently things like "original" or
"thumb".

So instead of storing the string on each entry, just store
a short integer referencing the FileKeynames table and have
the appropiate string there.

Changed from key-notation to dot-notation in edit_profile

SQL: Added MediaFile and MediaAttachmentFile to MODELS

Generic generate_slug for mongo and sql.

Using the new check_media_slug_used it is possible to have
one generic generate_slug in the mixin class instead of in
each db class.

In the sql variant self.id is not always set: If the slug
alone would create a dupe the current code decides for "no
slug at all".

Push another half-fix for portrait thumbnails. Man, this thing is breaking all over the place.

Sort-of fixes so the header does not collapse anymore. Header needs redesigning.

Header doesn't need a height

Actually decrease thumbnail size instead of just their containers

Translate less html.

Instead of translating <p ...>TEXT</p> just mark TEXT for
translation. That way formatting changes can be done
without affecting the translations.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Revert thumbnail gallery change: switch back to tables

Fix merge conflict in prev_next.html

Generic check_media_slug_used db utility.

In two cases (generating a new slug and editing the slug)
it is nice to know in advance (before the db gets angry)
that the slug is used/free. So created a db utility
function to check for this on mongo and sql:
check_media_slug_used()

SQL: Tool to cleanup unused tag slugs.

The current SQL layout/sqlalchemy strucuture can't detect
whether a slug isn't needed any more and delete it. So
provide a tool function to cleanup unused slugs.

It's currently not hooked to any gmg function!

Stop failing if there is no previous/next to go to

Merge branch 'keyboard_nav'

Edit css rule to allow users to zoom

Added the sql_switch.py script to .gitignore

Implement atomic_update for SQL.

On sqlalchemy most updates are atomic enough for most use
cases. Anyway, here is an atomic_update that is compatible
to the mongo version.

Create atomic_update db utility function

In some cases (notably the mark_entry_failed function) it
is useful to have atomic update functionality on the db. On
mongo this requires special syntax.

So created an atomic_update function for mongo and started
to use it in mark_entry_failed.

Add sidebar again

Merge branch 'newlayout' into newlayout-stage

Merge branch 'media_data_start'

* media_data_start:
  And media_data_init() for sql as a dummy
  Create a fake MediaEntry.media_data for sql
  Video media_data: Change layout in the mongo world

And media_data_init() for sql as a dummy

Needs to be implemented.

Create a fake MediaEntry.media_data for sql

So that the SQL backend is more useable, let the MediaEntry
have a faked media_data.
It's extremely fake: The returned dict is always a new one.
So any stored info is even lost!

Go go mediagoblin favico symmetry

Video media_data: Change layout in the mongo world

Change the media_data for video from
entry.media_data["video"] to use entry.media_data directly.

Also start a bare MediaEntry.media_data_init(**kwargs)
method for setting up the media_data and possibly
initialising it with kwargs.

SQL: Improve video media_data table

1. Make the foreignkey the primary_key.
2. Add width/height, as those are currently in use for the
   media_data

Cleanup Session after each request.

It's good practice to cleanup the SQL session after each
request so that the next request gets a fresh one.

It's an application decision whether one wants a
just-in-case ROLLBACK or COMMIT. There are two ideas behind
it, really. I have decided for ROLLBACK. The idea is "if
you forget to commit your changes yourself, there's
something broken. Maybe you got an exception?".

Attachment support in the SQL backend

attachments working with the sql backend.

- SQL Schema for attachment files, ordering attachments by
  their name, not by the submission order (as earlier).
- Dot-Notation for attachments, where missing.
- convert existing attachments over from mongo -> sql

Fix tests given recent celery "case" change

Accidentally overwrote the celery/__init__.py, fixed this and removed the upper correctly

Changed celery config keys to upper case and removed upper casing of keys when initialising the config as per issue #214

Let mark_entry_failed log unknown exceptions

I don't know exactly why, but an exception during
processing hasn't found its way up. The entry was marked as
failed and that was it. So I decided to add a _log.warn to
the part of mark_entry_failed that handles general
exceptions.

Merge remote-tracking branch 'cwebber/celerysql'

* cwebber/celerysql:
  Adjust unit tests to match new celery/kombu sqlalchemy setup
  "database" is not the sqlalchemy kombu transport... should be "sqlalchemy"
  Celery and kombu databases should also be .gitignore'd
  kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work
  Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.
  Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)
  Apparently an absolute path is three slashes after sqlite:.  Thx elrond.
  Should be all that's needed to switch celery/kombu settings to sqlalchemy

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Adjust unit tests to match new celery/kombu sqlalchemy setup

"database" is not the sqlalchemy kombu transport... should be "sqlalchemy"

Celery and kombu databases should also be .gitignore'd

kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work

Let SQL objects support .setdefault() and .delete()

Some parts in the code like to use .setdefault(). So make
them happy and provide a minimal version. It ignores the
given default and expects the attribute to already exist.

Other parts use .delete() to delete a complete object. This
version expects the object to live in a session and also
does the final commit.

Dot-Notation: MediaComment and some random places

Let Main Server emit startup notice including version

There was no place in the software telling the user the
version in use. So start by having the main server emit a
startup notice including the version string. Uses python
logging, so should be easy to reconfigure, etc.

Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.

Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)

Apparently an absolute path is three slashes after sqlite:.  Thx elrond.

sqlite:///////////////////////////////////whaaaaaa.db

Should be all that's needed to switch celery/kombu settings to sqlalchemy

Allow .id instead of ._id for the Mongo backend

To allow easier migration to the SQLAlchemy style .id give
the User and MediaEntry mongo classes an alias attribute of
.id that maps to ['_id'].

Use it in the upload process, because this was one of the
last positions with a ['_id'] instead of ._id (due to a bug
in mongokit).

Create "gmg convert_mongo_to_sql" command

Finally, to make testing of sql a bit easier, create a
bin/gmg command to do the conversion from mongo to sql.
It's currently named "convert_mongo_to_sql".

The most important option is the gmg -cf option to give a
configfile with the appropiate sql_engine definition.

mongo to sql convert: Better Ordering

Order the conversion by the "created" attribute. That way
the sql ids are mostly in the order they would have been,
if sql was used earlier.

Makes things nicer to look at in a db dump.

Use task_id in generating the queue file path

The task_id is created anyway as a UUID. So it is very
unique per definition. The only thing needed for the queue
file path is a unique part.

Before the objectid of the MediaEntry was used instead. But
in the sql world the objectid is only available after an
"insert" on the db. And creating the queue_file_path
afterwards would require an "update" on the db. We can save
that. ... for now.

Forgot to add these layout changes. Everything should work now.

Resolve merge conflicts

We now require sqlalchemy and sqlalchemy-migrate

Commenting out the migrations that don't exist yet

Updates so that dbupdate command works

 - Various fixes to dbupdate itself
 - Switching db/sql/migrations.py to use a dict instead of a list
 - Registering the function

Merge branch 'master' into sqlmigrate

Start having useful defaults for SQL

Mostly this means: Havintg a config_spec.ini that has a
local (relative to mediagoblin.ini) sqlite db with the name
"mediagoblin.db".

Also:
- Add to .gitignore
- Add a notice to mediagoblin.ini about the db

Fix MediaTag __init__ to handle no args

Let the init code also handle createing a fresh clean
instance without any attrs set.

SQL: fail_metadata as JSON encoded field

fail_metadata used to be a dict in mongo. So a json encoded
field should be okay too.

We could use a pickled field instead, which would be more
flexible.

Merge branch 'master' into sqlmigrate

Conflicts:
mediagoblin/db/sql/models.py

Responsive thumbnail gallery time

Drop pre-rendered html: MediaComment.content_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the MediaComment.content_html part.