Let mark_entry_failed log unknown exceptions

I don't know exactly why, but an exception during
processing hasn't found its way up. The entry was marked as
failed and that was it. So I decided to add a _log.warn to
the part of mark_entry_failed that handles general
exceptions.

Merge remote-tracking branch 'cwebber/celerysql'

* cwebber/celerysql:
  Adjust unit tests to match new celery/kombu sqlalchemy setup
  "database" is not the sqlalchemy kombu transport... should be "sqlalchemy"
  Celery and kombu databases should also be .gitignore'd
  kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work
  Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.
  Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)
  Apparently an absolute path is three slashes after sqlite:.  Thx elrond.
  Should be all that's needed to switch celery/kombu settings to sqlalchemy

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Adjust unit tests to match new celery/kombu sqlalchemy setup

"database" is not the sqlalchemy kombu transport... should be "sqlalchemy"

Celery and kombu databases should also be .gitignore'd

kombu-sqlalchemy a requirement in order for kombu sqlalchemy transport to work

Let SQL objects support .setdefault() and .delete()

Some parts in the code like to use .setdefault(). So make
them happy and provide a minimal version. It ignores the
given default and expects the attribute to already exist.

Other parts use .delete() to delete a complete object. This
version expects the object to live in a session and also
does the final commit.

Dot-Notation: MediaComment and some random places

Let Main Server emit startup notice including version

There was no place in the software telling the user the
version in use. So start by having the main server emit a
startup notice including the version string. Uses python
logging, so should be easy to reconfigure, etc.

Move mediagoblin dbs out of user_dev for race condition directory-creation reasons.

Give kombu its own db.  Responding to Elrond "sqlite will lock all the time!" :)

Apparently an absolute path is three slashes after sqlite:.  Thx elrond.

sqlite:///////////////////////////////////whaaaaaa.db

Should be all that's needed to switch celery/kombu settings to sqlalchemy

Allow .id instead of ._id for the Mongo backend

To allow easier migration to the SQLAlchemy style .id give
the User and MediaEntry mongo classes an alias attribute of
.id that maps to ['_id'].

Use it in the upload process, because this was one of the
last positions with a ['_id'] instead of ._id (due to a bug
in mongokit).

Create "gmg convert_mongo_to_sql" command

Finally, to make testing of sql a bit easier, create a
bin/gmg command to do the conversion from mongo to sql.
It's currently named "convert_mongo_to_sql".

The most important option is the gmg -cf option to give a
configfile with the appropiate sql_engine definition.

mongo to sql convert: Better Ordering

Order the conversion by the "created" attribute. That way
the sql ids are mostly in the order they would have been,
if sql was used earlier.

Makes things nicer to look at in a db dump.

Use task_id in generating the queue file path

The task_id is created anyway as a UUID. So it is very
unique per definition. The only thing needed for the queue
file path is a unique part.

Before the objectid of the MediaEntry was used instead. But
in the sql world the objectid is only available after an
"insert" on the db. And creating the queue_file_path
afterwards would require an "update" on the db. We can save
that. ... for now.

We now require sqlalchemy and sqlalchemy-migrate

Commenting out the migrations that don't exist yet

Updates so that dbupdate command works

 - Various fixes to dbupdate itself
 - Switching db/sql/migrations.py to use a dict instead of a list
 - Registering the function

Merge branch 'master' into sqlmigrate

Start having useful defaults for SQL

Mostly this means: Havintg a config_spec.ini that has a
local (relative to mediagoblin.ini) sqlite db with the name
"mediagoblin.db".

Also:
- Add to .gitignore
- Add a notice to mediagoblin.ini about the db

Fix MediaTag __init__ to handle no args

Let the init code also handle createing a fresh clean
instance without any attrs set.

SQL: fail_metadata as JSON encoded field

fail_metadata used to be a dict in mongo. So a json encoded
field should be okay too.

We could use a pickled field instead, which would be more
flexible.

Merge branch 'master' into sqlmigrate

Conflicts:
mediagoblin/db/sql/models.py

Drop pre-rendered html: MediaComment.content_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the MediaComment.content_html part.

Drop pre-rendered html: MediaEntry.description_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the MediaEntry.description_html part.

Drop pre-rendered html: User.bio_html

After a bit of discussion, we decided to drop the
pre-rendered html from the database and render it on
the fly.

In another step, we will use some proper caching method to
cache this stuff.

This commit affects the User.bio_html part.

Revert "Layout overhaul time!"

This reverts a whole bunch of commits, fb1dc4f5 thru 92e8ca79, where
an experimental new layout was played with.  Unfortunately, this
layout broke the look and feel of master, even though it was going in
the right direction for mobile stuff.  Jef said he'll do things in a
branch!

47: Only lowercase host part of email

According to most documentation it seems that the local
part of an email adress is/can be case sensitive. While
the host part is not.
So we lowercase only the host part of the given adress.

See: http://issues.mediagoblin.org/ticket/47

Our javascript is actually AGPLv3+, not LGPL*.  Correcting.

Wait, scratch that. This commit uses a better way.

Add navigation button styles for mobile

Fix comment input field width/padding; change some text; remove weird #form_comment duplicate rules; move Edit/Delete buttons next to title

Make media thumbnail gallery a list instead of a table

Corrections for mobile layout

Move "Added on" date to sidebar

Style sidedata h3; revert sidebar margin change

Fix sidebar margins

Move Attachments from sidebar to default pane

Consistencify sidebar bits (same headers and such)

Restore sidebar

Layout overhaul time!

sql db design suggestions by Svavar Kjarrval

Many thanks go to Svavar Kjarrval who has taken a deeper
look at our current sql db design and made a bunch of
suggestions.  The suggestions are currently put as TODO
items in the docstrings.  This way we can keep track of
them directly where we need it.

Fix for ticket #386

Fix docs version

Update version to 0.3.0-dev

Update version numbers

Committing extracted and compiled translations

Removing youcanhelp stuff

This was never used. It doesn't support Texinfo files. It was only half
completed. Best to remove it.

Update copyright headers for shell scripts

Added info on how to enable ascii art

Updating codebase.rst to reflect the modern mediagoblin world

 - adding/removing libraries listed as appropriate
 - buildout->virtualenv references
 - Updating directory structure description to reflect current reality

Minor rewording

Tried to address confusion I had when I read the document and tweaked
some formatting.

Fix copyright statements; add LICENSE for EXIF.py

Fully qualify the import of asciitoimage

Added CC0 header to all MediaGoblin docs in docs/source/

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Committing present MediaGoblin translations before pushing extracted messages

Fix EXIF based image rotation test

The test checks for a pixel value after rotation (good
idea!). But the value seems to be a bit different on some
platforms, so use a list of seen values.

Not the perfect solution, but it works.

ASCII media support - Fixes

- Added debug logging in
  - mediagoblin.processing
  - mediagoblin.media_types.ascii.processing
  - mediagoblin.media_types.ascii.asciitoimage

ASCII art support - Fixes

- Improved(?) character set detection, chardet will not win
  over UTF-8 unless it is >= 90% sure.
- Changed the unicode.txt to ascii-portable.txt, since there is
  no unicode in the file.
- etc.

Added extensions 'asc' and 'nfo' to ASCII media type

It's 2012 all up in here

Updating deployment guide so that it can handle the current virtualenv site-packages changes

Now it should try using --system-site-packages and if that
fails (older version) it tries it without the argument.

Explained why migration #1 commented out.

Excepting that migration 1 doesn't work(!), sqlalchemy migration branch working

The reason migration 1 doesn't work, and is commented out, is because
of sqlalchemy-migrate not handling certain constraints while dropping
binary sqlite columns right.  See also:
http://code.google.com/p/sqlalchemy-migrate/issues/detail?id=143&thanks=143&ts=1327882242

Update the string outputs to match our tests: newlines, ...->:, etc.

db_conn.engine -> db_conn.bind

migrations_to_run here a list, so no reason to call it

Migration manager's current migration should be 3, not 7, after running all migrations!

Fixed the descriptions for the necroplex!

assert column type from Unicode -> VARCHAR.  SQLAlchemy reflection only so smart ;)

printer = CollectingPrinter -> printer = CollectingPrinter()

CollectingPrinter is a class, not a function!

self.latest_migration now a property, so we shouldn't __call__ it!

For clarity, self.database -> self.session.

Actually, I'm not even sure *that* is ideal!  But better than what we
had...

Yet *another* self.database -> self.database.bind fix!

Fix database_current_version for when self.migration_data is None.

another db -> db.bind fix.

A few basic fixes to sql/util.py

 - MigrationRecord to MigrationData, again
 - If the table doesn't exist, return None for database_current_migration
 - database.engine -> database.bind

magical_powers relationship set on wrong table, fixed

Also switch database_current_migration to a property

Migration records are dicts, not lists.  Fix SET1_MIGATIONS!

Make latest_migration a property

Import MigrationData, not MigrationRecord

test_set1_to_set3() now has appropriate amount of code, even if it doesn't run :)

Fixing some obvious errors caught by pyflakes

More stuff even yet per sql migration stuff!  And still not ready!

Closer to the end of this migration test...

unicode stuff and more bits on the actual migration method

A ton more work on the SQL migration unit tests...

Wrote up some scaffolding for the actual tests

Insert migration objects round 3

import changeset into sql models

Wrote some (semi-silly) descriptions of each migration

Docstrings for stage 2 migrations