Generic check_media_slug_used db utility.

In two cases (generating a new slug and editing the slug)
it is nice to know in advance (before the db gets angry)
that the slug is used/free. So created a db utility
function to check for this on mongo and sql:
check_media_slug_used()

SQL: Tool to cleanup unused tag slugs.

The current SQL layout/sqlalchemy strucuture can't detect
whether a slug isn't needed any more and delete it. So
provide a tool function to cleanup unused slugs.

It's currently not hooked to any gmg function!

Stop failing if there is no previous/next to go to

Merge branch 'keyboard_nav'

Added the sql_switch.py script to .gitignore

Implement atomic_update for SQL.

On sqlalchemy most updates are atomic enough for most use
cases. Anyway, here is an atomic_update that is compatible
to the mongo version.

Create atomic_update db utility function

In some cases (notably the mark_entry_failed function) it
is useful to have atomic update functionality on the db. On
mongo this requires special syntax.

So created an atomic_update function for mongo and started
to use it in mark_entry_failed.

Merge branch 'media_data_start'

* media_data_start:
  And media_data_init() for sql as a dummy
  Create a fake MediaEntry.media_data for sql
  Video media_data: Change layout in the mongo world

And media_data_init() for sql as a dummy

Needs to be implemented.

Create a fake MediaEntry.media_data for sql

So that the SQL backend is more useable, let the MediaEntry
have a faked media_data.
It's extremely fake: The returned dict is always a new one.
So any stored info is even lost!

Go go mediagoblin favico symmetry

Video media_data: Change layout in the mongo world

Change the media_data for video from
entry.media_data["video"] to use entry.media_data directly.

Also start a bare MediaEntry.media_data_init(**kwargs)
method for setting up the media_data and possibly
initialising it with kwargs.

SQL: Improve video media_data table

1. Make the foreignkey the primary_key.
2. Add width/height, as those are currently in use for the
   media_data

Cleanup Session after each request.

It's good practice to cleanup the SQL session after each
request so that the next request gets a fresh one.

It's an application decision whether one wants a
just-in-case ROLLBACK or COMMIT. There are two ideas behind
it, really. I have decided for ROLLBACK. The idea is "if
you forget to commit your changes yourself, there's
something broken. Maybe you got an exception?".

Attachment support in the SQL backend

attachments working with the sql backend.

- SQL Schema for attachment files, ordering attachments by
  their name, not by the submission order (as earlier).
- Dot-Notation for attachments, where missing.
- convert existing attachments over from mongo -> sql

Fix tests given recent celery "case" change

Accidentally overwrote the celery/__init__.py, fixed this and removed the upper correctly

Changed celery config keys to upper case and removed upper casing of keys when initialising the config as per issue #214

Let mark_entry_failed log unknown exceptions

I don't know exactly why, but an exception during
processing hasn't found its way up. The entry was marked as
failed and that was it. So I decided to add a _log.warn to
the part of mark_entry_failed that handles general
exceptions.

Merge remote-tracking branch 'cwebber/celerysql'

* cwebber/celerysql:
  Adjust unit tests to match new celery/kombu sqlalchemy setup
  "database" is not the sqlalchemy kombu transport... should be "sqlalchemy"
  Celery and kombu databases should also be .gitignore'd
  kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work
  Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.
  Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)
  Apparently an absolute path is three slashes after sqlite:.  Thx elrond.
  Should be all that's needed to switch celery/kombu settings to sqlalchemy

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Adjust unit tests to match new celery/kombu sqlalchemy setup

"database" is not the sqlalchemy kombu transport... should be "sqlalchemy"

Celery and kombu databases should also be .gitignore'd

kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work

Let SQL objects support .setdefault() and .delete()

Some parts in the code like to use .setdefault(). So make
them happy and provide a minimal version. It ignores the
given default and expects the attribute to already exist.

Other parts use .delete() to delete a complete object. This
version expects the object to live in a session and also
does the final commit.

Dot-Notation: MediaComment and some random places

Let Main Server emit startup notice including version

There was no place in the software telling the user the
version in use. So start by having the main server emit a
startup notice including the version string. Uses python
logging, so should be easy to reconfigure, etc.

Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.

Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)

Apparently an absolute path is three slashes after sqlite:.  Thx elrond.

sqlite:///////////////////////////////////whaaaaaa.db

Should be all that's needed to switch celery/kombu settings to sqlalchemy

Allow .id instead of ._id for the Mongo backend

To allow easier migration to the SQLAlchemy style .id give
the User and MediaEntry mongo classes an alias attribute of
.id that maps to ['_id'].

Use it in the upload process, because this was one of the
last positions with a ['_id'] instead of ._id (due to a bug
in mongokit).

Create "gmg convert_mongo_to_sql" command

Finally, to make testing of sql a bit easier, create a
bin/gmg command to do the conversion from mongo to sql.
It's currently named "convert_mongo_to_sql".

The most important option is the gmg -cf option to give a
configfile with the appropiate sql_engine definition.

mongo to sql convert: Better Ordering

Order the conversion by the "created" attribute. That way
the sql ids are mostly in the order they would have been,
if sql was used earlier.

Makes things nicer to look at in a db dump.

Use task_id in generating the queue file path

The task_id is created anyway as a UUID. So it is very
unique per definition. The only thing needed for the queue
file path is a unique part.

Before the objectid of the MediaEntry was used instead. But
in the sql world the objectid is only available after an
"insert" on the db. And creating the queue_file_path
afterwards would require an "update" on the db. We can save
that. ... for now.

We now require sqlalchemy and sqlalchemy-migrate

Commenting out the migrations that don't exist yet

Updates so that dbupdate command works

 - Various fixes to dbupdate itself
 - Switching db/sql/migrations.py to use a dict instead of a list
 - Registering the function

Merge branch 'master' into sqlmigrate

Start having useful defaults for SQL

Mostly this means: Havintg a config_spec.ini that has a
local (relative to mediagoblin.ini) sqlite db with the name
"mediagoblin.db".

Also:
- Add to .gitignore
- Add a notice to mediagoblin.ini about the db

Fix MediaTag __init__ to handle no args

Let the init code also handle createing a fresh clean
instance without any attrs set.

SQL: fail_metadata as JSON encoded field

fail_metadata used to be a dict in mongo. So a json encoded
field should be okay too.

We could use a pickled field instead, which would be more
flexible.

Merge branch 'master' into sqlmigrate

Conflicts:
mediagoblin/db/sql/models.py

Drop pre-rendered html: MediaComment.content_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the MediaComment.content_html part.

Drop pre-rendered html: MediaEntry.description_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the MediaEntry.description_html part.

Drop pre-rendered html: User.bio_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the User.bio_html part.

Add left and right arrow keys navigation (add new JS file, link it from media.html; add new navigation_right class to right button)

Revert "Layout overhaul time!"

This reverts a whole bunch of commits, fb1dc4f5 thru 92e8ca79, where
an experimental new layout was played with.  Unfortunately, this
layout broke the look and feel of master, even though it was going in
the right direction for mobile stuff.  Jef said he'll do things in a
branch!

47: Only lowercase host part of email

According to most documentation it seems that the local
part of an email adress is/can be case sensitive. While
the host part is not.
So we lowercase only the host part of the given adress.

See: http://issues.mediagoblin.org/ticket/47

Our javascript is actually AGPLv3+, not LGPL*.  Correcting.

Wait, scratch that. This commit uses a better way.

Add navigation button styles for mobile

Fix comment input field width/padding; change some text; remove weird #form_comment duplicate rules; move Edit/Delete buttons next to title

Make media thumbnail gallery a list instead of a table

Corrections for mobile layout

Move "Added on" date to sidebar

Style sidedata h3; revert sidebar margin change

Fix sidebar margins

Move Attachments from sidebar to default pane

Consistencify sidebar bits (same headers and such)

Restore sidebar

Layout overhaul time!

sql db design suggestions by Svavar Kjarrval

Many thanks go to Svavar Kjarrval who has taken a deeper
look at our current sql db design and made a bunch of
suggestions.  The suggestions are currently put as TODO
items in the docstrings.  This way we can keep track of
them directly where we need it.

Fix for ticket #386

Fix docs version

Update version to 0.3.0-dev

Update version numbers

Committing extracted and compiled translations

Removing youcanhelp stuff

This was never used. It doesn't support Texinfo files. It was only half
completed. Best to remove it.

Update copyright headers for shell scripts

Added info on how to enable ascii art

Updating codebase.rst to reflect the modern mediagoblin world

 - adding/removing libraries listed as appropriate
 - buildout->virtualenv references
 - Updating directory structure description to reflect current reality

Minor rewording

Tried to address confusion I had when I read the document and tweaked
some formatting.

Fix copyright statements; add LICENSE for EXIF.py

Fully qualify the import of asciitoimage

Added CC0 header to all MediaGoblin docs in docs/source/

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Committing present MediaGoblin translations before pushing extracted messages

Fix EXIF based image rotation test

The test checks for a pixel value after rotation (good
idea!). But the value seems to be a bit different on some
platforms, so use a list of seen values.

Not the perfect solution, but it works.

ASCII media support - Fixes

- Added debug logging in
  - mediagoblin.processing
  - mediagoblin.media_types.ascii.processing
  - mediagoblin.media_types.ascii.asciitoimage

ASCII art support - Fixes

- Improved(?) character set detection, chardet will not win
  over UTF-8 unless it is >= 90% sure.
- Changed the unicode.txt to ascii-portable.txt, since there is
  no unicode in the file.
- etc.

Added extensions 'asc' and 'nfo' to ASCII media type

It's 2012 all up in here

Updating deployment guide so that it can handle the current virtualenv site-packages changes

Now it should try using --system-site-packages and if that
fails (older version) it tries it without the argument.

Explained why migration #1 commented out.

Excepting that migration 1 doesn't work(!), sqlalchemy migration branch working

The reason migration 1 doesn't work, and is commented out, is because
of sqlalchemy-migrate not handling certain constraints while dropping
binary sqlite columns right.  See also:
http://code.google.com/p/sqlalchemy-migrate/issues/detail?id=143&thanks=143&ts=1327882242

Update the string outputs to match our tests: newlines, ...->:, etc.

db_conn.engine -> db_conn.bind

migrations_to_run here a list, so no reason to call it

Migration manager's current migration should be 3, not 7, after running all migrations!

Fixed the descriptions for the necroplex!

assert column type from Unicode -> VARCHAR.  SQLAlchemy reflection only so smart ;)

printer = CollectingPrinter -> printer = CollectingPrinter()

CollectingPrinter is a class, not a function!

self.latest_migration now a property, so we shouldn't __call__ it!

For clarity, self.database -> self.session.

Actually, I'm not even sure *that* is ideal!  But better than what we
had...

Yet *another* self.database -> self.database.bind fix!