Add DB Mixin classes and use them

A bunch of functions on the db objects are really more like
"utility functions": They could live outside the classes
and be called "by hand" passing the appropiate reference.
They usually only use the public API of the object and
rarely use database related stuff.

Goals:
- First, simple: Share the code with the SQL objects, so
  that the code doesn't need to be duplicated.
- Second, it might unclutter the db models and make them
  more into "model only" stuff.
- Doesn't really hurt.

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Increase docs sidebar width

New docs logo, small css changes

First push with new style (includes css file, logo image, fonts)

Fix div breaking in user.html; add media query bits

Resize image below 660px width

* Rename mediagoblin_header, mediagoblin_body, mediagoblin_footer, mediagoblin_header_right, mediagoblin_logo
* Add html5shiv for older browsers
* Small size fix (940px instead of 960pgx)

Add closing bracket so the whole thing doesn't break down

Remove last 960.gs leftover; fix classes for edit forms

Fix merge conflicts

Several changes for mobile layout

Always show 'Change account settings' link

Fix Unit Tests for new password changing

Make show-password-js work for change password too

The show password js depends on the password field to have
an id of "password". So give it a proper id.

Also fixed the label generation for the case of field.name
and field.id being different.

Fix more StrictUndefined issues

Add change-account-settings link to user.html

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Create edit_account.html

f691: Use StrictUndefined for templates and fix some issues

References to undefined variables in templates were
silently ignored/converted to None/empty strings. This
makes coding lazy stuff easy, but it makes catching typos
harder.
(It would have catched one of the SQL things earlier!)

But on the other hand it might make the current templates
error out everywhere. In fact, early testing has shown two
instances, that errored out. Those are fixed with this
commit too.

If this turns out to make things more complex and useless
than actually solving any problems, it can easily be
dropped again.

Import MigrationManager from mongo in mongo backend.

Inside the mongo db backend, use the mongo
MigrationManager. This is hopefully the last reference to
the generic MigrationManager reference on db.util.

Add Markdown for submit page, edit page, profile edit page; thus fixing ticket #690

Dot-Notation for MediaEntry.queued_media_file

Dot-Notation for MediaEntry.state

Dot-Notation for MediaEntry.media_files

sql convert: Use more library functions

1. Use the new setup_connection_and_db_from_config in the
   sql backend.

2. Use sql and mongo specific functions wherever
   appropiate instead of the generic "db.X" one. This makes
   the converter more indepedent of the current backend
   choice.

Seperate jQuery bit that was still in media.html

Fix unit tests for new forget password flow

After changing the password, the login page is now shown.
It contains a message.  (we can't test for that easily
currently.  There is a bug open on this problem.)

At least for the login page being shown now.

Remove fp_changed_success.html, use log in page + notification message instead

Remove fp_email_sent.html and refs to it

Factor out check_db_migrations_current

When initializing the database connection the current mongo
based setup checked for new migrations and warned about
them. This was mongo specific so factor'd it out into a
more generic check_db_migrations_current function in the
mongo backend.

Also created a dummy one in the sql backend.

Forgot this one. Also disable horizontal resize for the bio field

Remove border-bottom from media_specs

Disable horizontal resize for text areas.

Fixed submission error handling and broken tests

- Fixed broken test_auth test
- Fixed error handling on submission, it now raises the exception
  if it is not explicitly relevant to file submission.

Merge remote branch 'remotes/joar/tests'

* remotes/joar/tests:
  Fixed broken confirm_password test

ASCII media type support & fix a bug in file submission error handling

* Added ASCII media processing
* Added ASCII media display
* Added ASCII media type

Rebased from Joar Wandborg's ascii art branch (squashed to remove the
commits borrowing code of dubious license)

Fixed a bug in file submission error handling:
 - Moved file-extension condition out of loop (what did it do there?)
 - Updated file submission tests
 - Changed error handling in file submission, should now report more
   than absolutely necessary.

Change forgotten password process: different redirect, added/changed messages

Fix #712: Comment counter always uses plural

Fix #715: On media submit page, "Separate" is misspelled

Fixed broken confirm_password test

Random changes that break stuff and eat piglets

Lots of little fixes and removal of all 960.gs classes:

* Removed <p> margin-top
* Vertically align logo so Add-media button does not fall off
* Remove last 960.gs traces (grid_X/container_X) and add custom classes/sizes to css
* Add clear class
* Update form_box and add form_box_xl for bigger forms
* Switch all pages that use forms to new classes
* Remove padding from notification messages so they take full width
* Other tiny fixes I forgot about

Forgot to include the newly created JS file

Isolate JavaScript; add new show_password.js to forgot-password-page as well

Finished #485 and worked out bugs: password fields always update, added margins, fixed Chrome width bug, wrapped checkbox in label element

Add a .save method on the sql db objects

This is a shortcut to adding the object to a session (if
needed) and giving a commit on the session.

In reality, calling code should probably utilize the
session on its own and call commit in an appropiate place.

Support .get(fieldname) on sql db objects

Some parts of the code like to call .get("somefield") on
the db objects.  It's easy to support this on sqlalchemy
based objects, so lets do it.

Fix "bin/gmg migrate" after mongo move

When moving most stuff from db to db/mongo, "gmg migrate"
was left out.

Fix it now!

Show --log-file option in lazyserver help.

SQL Model: Add relationship properties

MediaEntry now has a get_uploader (property) loading the
appropiate User object for the MediaEntry (and caches it).
MediaComment has the same for author as get_author.

SQL Model: Forgot MediaEntry.state field

While creating the new SQL model, the "state" field of
MediaEntry was left out. Currently using a plain unicode
string for it.

Maybe should use sqlalchemy.types.Enum?

Implement _id proxy on sql objects (on User for now)

So that the old code can access the primary key still as
"._id".

Quite simple Python Descriptor thing.
Very generic.

Turn media.get_uploader into a property

sqlalchemy gives autoloading (hopefully caching) link to
other objects as properties. So turn get_uploader on the
current mongo based stuff into a property to ease
transition.

Use media.url_for_self instead of calling urlgen directly

Replace
urlgen('ID', user=media.get_uploader().username, media=media.*)
by
media.url_for_self(urlgen)
in a few places.
It's just a lot nicer!

Move verification key generation to view

Instead of creating the email verication key on the db
model as a default for the field, create it in the
registration view.
Now all verification key generation is only in
auth/views.py!

Translate one string

"There doesn't seem to be any media here yet..." is now
translated also here (it's already in the list from another
place).

Replace media.get_uploader()._id by media.uploader

media.get_uploader()._id loads a complete user object
without actually needing it, because media.uploader already
has the id!

Improve .one() by using sqlalchemy's .one()

Add search level one() method

And create a _fix_query_dict which converts '_id' to 'id'.

Turn MediaComment's author() into get_author property

1) MediaComment's author method conflicts with the author
   field. So rename it to get_author.
2) Turn it from a normal function into a python property.
   That means you call it by ".get_author" not by
   ".get_author()". This is exactly what sqlalchemy gives
   us free of charge.

added translation tags to html5 wwarning

Added a 'you don't have HTML5 so this video will not work' warning using just the inherent properties of the <video> tag (and some css for style)

Note reported bug in workaround

So that the workaround can eventually be removed, note the
URL for the relevant bug in a comment.

Workaround for Routes/urlgen bug.

This is relevant for fcgi:

Some servers (cherokee for example) put "HTTP":"off" in the
environ. And the following code in urlgen breaks on this:
    if environ.get('HTTPS') or environ.get('wsgi.url_scheme') == 'https' \
       or environ.get('HTTP_X_FORWARDED_PROTO') == 'https':
        hostinfo['protocol'] = 'https'

workaround is to remove HTTPS:off from the environ.

Merge remote branch 'remotes/joar/webfinger'

* remotes/joar/webfinger:
  Added references to docstring in mediagoblin.webfinger
  Removed mediagoblin.tools.feed which was accidentally included
  Polishing the webfinger implementation
  webfinger fully compliant with webfinger.org! Still *preliminary* solution.
  Changed some thngs to be compatible with webfinger.org, still *very preliminary*
  Added *very preliminary* support for webfinger

Added references to docstring in mediagoblin.webfinger

and mediagoblin.webfinger.views [references mediagoblin.webfinger]

Removed mediagoblin.tools.feed which was accidentally included

Polishing the webfinger implementation

- Changed quotes in the templates from " to '
- Changed all link generation to use request.urlgen
- Moved xrd links data generation from template to view
- Added parsing of the account URI using urlparse

Move db/models.py -> db/mongo/models.py

To my surprise, there was only ONE reference to models.py.
From open.py.

Move db/migrations.py -> db/mongo/migrations.py

And change references.

Move db/util.py -> db/mongo/util.py

- Change some reference
- Provide a wrapper db/util.py

Move db/indexes.py to db/mongo/indexes.py

And change references (one!).

Move db/open.py to db/mongo/open.py

Starting to move the mongo specific stuff into db/mongo.
And create thin "from db.mongo.Y import z" wrappers in
db/Y.py.

Why?
1) Will make it lots easier to switch to sql for
   testing/developing.
2) The mongo stuff needs to stay around after moving to
   sql, because the converter needs it.

SQL: mongokit like interface

In trying to ease the migration to SQL, created an
interface to sqlalchemy that looks a lot like the interface
that is currently in use.

*WARNING* Work in progress

Change widths to percentages for small devices

Add styles to make media.html not fall apart entirely

Move reset.css to extlib and symlink it

Remove first 960.gs classes

Media query for everything(?) below 960px wide

Remove 960.gs stylesheets, add Eric Meyer's reset.css

First test lines for responsive design

Show actual comment number. Only shows plural for now (ticket #712)

Simple Mongo -> SQL migration tool

This is just a start at a Migration tool from Mongo to SQL.
It fills all currently available SQL models with data from
MongoDB. A few fields in the SQL tables are left out,
because some data format migrations are needed (notably:
queue_file_name).

This thing lives in mediagoblin/db/sql/convert.py because
it has a lot of stuff hardcoded and is not, repeat not for
end users!

Hard coded:
- output database: ./mediagoblin.db (sqlite)
- Mediagoblin config: ./mediagoblin.ini

Little sql model update

- Add title to the MediaEntry
- Rename fp_verification_expire to fp_token_expire to
  follow the mongo model.

Fixed import_export

- Mongokit instead of pymongo
- db.MediaEntry instead of db.media_entry (pymongo style)

SQL: Some toys and little fix

Run bin/python mediagoblin/db/sql/models.py and watch the
create tables on a memory sqlite db.

Also unicode strings need unicode defauls. Warning by
sqlalchemy.

Move sql models into db/sql/

So we can play with the sql models, let's put them in a
proper place.

Merge remote branch 'remotes/cwebber/sqlalchemy'

* remotes/cwebber/sqlalchemy:
  Beginnings of sqlalchemy models

webfinger fully compliant with webfinger.org! Still *preliminary* solution.

Fix -dev version and add version number docs

Version numbers should adhere to PEP-386.

Changed some thngs to be compatible with webfinger.org, still *very preliminary*

Added *very preliminary* support for webfinger

Change "Submit" to "Add" for ticket #466

Remove "X license" placeholder from media page

Change wording for change_fp; improved the button text

Merge remote branch 'joar/b681-comments_from_reviewing_video'

* joar/b681-comments_from_reviewing_video:
  Bug 681 - Comments from reviewing the new video merge

Merge jQuery branch, resolve conflicts

Merge branch 'sql/dot-notation'

* sql/dot-notation:
  Dot-Notation for MediaEntry.media_data
  Dot-Notation for MediaEntry.media_type
  Dot-Notation for MediaEntry.description(_html)
  Dot-Notation for MediaEntry.slug
  Dot-Notation for MediaEntry.title
  Dot-Notation for MediaEntry.uploader
  Dot-Notation for MediaEntry.created
  Dot-Notation: tests/test_edit.py
  Dot-Notation for Users.fp_token_expire
  Dot-Notation for Users.fp_verification_key
  Dot-Notation for Users.bio and .bio_html
  Dot-Notation for Users.url
  Dot-Notation for Users.is_admin
  Dot-Notation for Users.verification_key
  Dot-Notation for Users.status
  Dot-Notation for Users.email_verified
  Dot-Notation for Users.pw_hash
  Dot-Notation for Users.email
  Dot-Notation for Users.username