f691: Use StrictUndefined for templates and fix some issues

References to undefined variables in templates were
silently ignored/converted to None/empty strings. This
makes coding lazy stuff easy, but it makes catching typos
harder.
(It would have catched one of the SQL things earlier!)

But on the other hand it might make the current templates
error out everywhere. In fact, early testing has shown two
instances, that errored out. Those are fixed with this
commit too.

If this turns out to make things more complex and useless
than actually solving any problems, it can easily be
dropped again.

Import MigrationManager from mongo in mongo backend.

Inside the mongo db backend, use the mongo
MigrationManager. This is hopefully the last reference to
the generic MigrationManager reference on db.util.

Add Markdown for submit page, edit page, profile edit page; thus fixing ticket #690

Dot-Notation for MediaEntry.queued_media_file

Dot-Notation for MediaEntry.state

Dot-Notation for MediaEntry.media_files

sql convert: Use more library functions

1. Use the new setup_connection_and_db_from_config in the
   sql backend.

2. Use sql and mongo specific functions wherever
   appropiate instead of the generic "db.X" one. This makes
   the converter more indepedent of the current backend
   choice.

Seperate jQuery bit that was still in media.html

Fix unit tests for new forget password flow

After changing the password, the login page is now shown.
It contains a message.  (we can't test for that easily
currently.  There is a bug open on this problem.)

At least for the login page being shown now.

Remove fp_changed_success.html, use log in page + notification message instead

Remove fp_email_sent.html and refs to it

Factor out check_db_migrations_current

When initializing the database connection the current mongo
based setup checked for new migrations and warned about
them. This was mongo specific so factor'd it out into a
more generic check_db_migrations_current function in the
mongo backend.

Also created a dummy one in the sql backend.

Forgot this one. Also disable horizontal resize for the bio field

Remove border-bottom from media_specs

Disable horizontal resize for text areas.

Fixed submission error handling and broken tests

- Fixed broken test_auth test
- Fixed error handling on submission, it now raises the exception
  if it is not explicitly relevant to file submission.

Merge remote branch 'remotes/joar/tests'

* remotes/joar/tests:
  Fixed broken confirm_password test

ASCII media type support & fix a bug in file submission error handling

* Added ASCII media processing
* Added ASCII media display
* Added ASCII media type

Rebased from Joar Wandborg's ascii art branch (squashed to remove the
commits borrowing code of dubious license)

Fixed a bug in file submission error handling:
 - Moved file-extension condition out of loop (what did it do there?)
 - Updated file submission tests
 - Changed error handling in file submission, should now report more
   than absolutely necessary.

Change forgotten password process: different redirect, added/changed messages

Fix #712: Comment counter always uses plural

Fix #715: On media submit page, "Separate" is misspelled

Fixed broken confirm_password test

Forgot to include the newly created JS file

Isolate JavaScript; add new show_password.js to forgot-password-page as well

Finished #485 and worked out bugs: password fields always update, added margins, fixed Chrome width bug, wrapped checkbox in label element

Add a .save method on the sql db objects

This is a shortcut to adding the object to a session (if
needed) and giving a commit on the session.

In reality, calling code should probably utilize the
session on its own and call commit in an appropiate place.

Support .get(fieldname) on sql db objects

Some parts of the code like to call .get("somefield") on
the db objects.  It's easy to support this on sqlalchemy
based objects, so lets do it.

Fix "bin/gmg migrate" after mongo move

When moving most stuff from db to db/mongo, "gmg migrate"
was left out.

Fix it now!

Show --log-file option in lazyserver help.

SQL Model: Add relationship properties

MediaEntry now has a get_uploader (property) loading the
appropiate User object for the MediaEntry (and caches it).
MediaComment has the same for author as get_author.

SQL Model: Forgot MediaEntry.state field

While creating the new SQL model, the "state" field of
MediaEntry was left out. Currently using a plain unicode
string for it.

Maybe should use sqlalchemy.types.Enum?

Implement _id proxy on sql objects (on User for now)

So that the old code can access the primary key still as
"._id".

Quite simple Python Descriptor thing.
Very generic.

Turn media.get_uploader into a property

sqlalchemy gives autoloading (hopefully caching) link to
other objects as properties. So turn get_uploader on the
current mongo based stuff into a property to ease
transition.

Use media.url_for_self instead of calling urlgen directly

Replace
urlgen('ID', user=media.get_uploader().username, media=media.*)
by
media.url_for_self(urlgen)
in a few places.
It's just a lot nicer!

Move verification key generation to view

Instead of creating the email verication key on the db
model as a default for the field, create it in the
registration view.
Now all verification key generation is only in
auth/views.py!

Translate one string

"There doesn't seem to be any media here yet..." is now
translated also here (it's already in the list from another
place).

Replace media.get_uploader()._id by media.uploader

media.get_uploader()._id loads a complete user object
without actually needing it, because media.uploader already
has the id!

Improve .one() by using sqlalchemy's .one()

Add search level one() method

And create a _fix_query_dict which converts '_id' to 'id'.

Turn MediaComment's author() into get_author property

1) MediaComment's author method conflicts with the author
   field. So rename it to get_author.
2) Turn it from a normal function into a python property.
   That means you call it by ".get_author" not by
   ".get_author()". This is exactly what sqlalchemy gives
   us free of charge.

added translation tags to html5 wwarning

Added a 'you don't have HTML5 so this video will not work' warning using just the inherent properties of the <video> tag (and some css for style)

Note reported bug in workaround

So that the workaround can eventually be removed, note the
URL for the relevant bug in a comment.

Workaround for Routes/urlgen bug.

This is relevant for fcgi:

Some servers (cherokee for example) put "HTTP":"off" in the
environ. And the following code in urlgen breaks on this:
    if environ.get('HTTPS') or environ.get('wsgi.url_scheme') == 'https' \
       or environ.get('HTTP_X_FORWARDED_PROTO') == 'https':
        hostinfo['protocol'] = 'https'

workaround is to remove HTTPS:off from the environ.

Merge remote branch 'remotes/joar/webfinger'

* remotes/joar/webfinger:
  Added references to docstring in mediagoblin.webfinger
  Removed mediagoblin.tools.feed which was accidentally included
  Polishing the webfinger implementation
  webfinger fully compliant with webfinger.org! Still *preliminary* solution.
  Changed some thngs to be compatible with webfinger.org, still *very preliminary*
  Added *very preliminary* support for webfinger

Added references to docstring in mediagoblin.webfinger

and mediagoblin.webfinger.views [references mediagoblin.webfinger]

Removed mediagoblin.tools.feed which was accidentally included

Polishing the webfinger implementation

- Changed quotes in the templates from " to '
- Changed all link generation to use request.urlgen
- Moved xrd links data generation from template to view
- Added parsing of the account URI using urlparse

Move db/models.py -> db/mongo/models.py

To my surprise, there was only ONE reference to models.py.
From open.py.

Move db/migrations.py -> db/mongo/migrations.py

And change references.

Move db/util.py -> db/mongo/util.py

- Change some reference
- Provide a wrapper db/util.py

Move db/indexes.py to db/mongo/indexes.py

And change references (one!).

Move db/open.py to db/mongo/open.py

Starting to move the mongo specific stuff into db/mongo.
And create thin "from db.mongo.Y import z" wrappers in
db/Y.py.

Why?
1) Will make it lots easier to switch to sql for
   testing/developing.
2) The mongo stuff needs to stay around after moving to
   sql, because the converter needs it.

SQL: mongokit like interface

In trying to ease the migration to SQL, created an
interface to sqlalchemy that looks a lot like the interface
that is currently in use.

*WARNING* Work in progress

Show actual comment number. Only shows plural for now (ticket #712)

Simple Mongo -> SQL migration tool

This is just a start at a Migration tool from Mongo to SQL.
It fills all currently available SQL models with data from
MongoDB. A few fields in the SQL tables are left out,
because some data format migrations are needed (notably:
queue_file_name).

This thing lives in mediagoblin/db/sql/convert.py because
it has a lot of stuff hardcoded and is not, repeat not for
end users!

Hard coded:
- output database: ./mediagoblin.db (sqlite)
- Mediagoblin config: ./mediagoblin.ini

Little sql model update

- Add title to the MediaEntry
- Rename fp_verification_expire to fp_token_expire to
  follow the mongo model.

Fixed import_export

- Mongokit instead of pymongo
- db.MediaEntry instead of db.media_entry (pymongo style)

SQL: Some toys and little fix

Run bin/python mediagoblin/db/sql/models.py and watch the
create tables on a memory sqlite db.

Also unicode strings need unicode defauls. Warning by
sqlalchemy.

Move sql models into db/sql/

So we can play with the sql models, let's put them in a
proper place.

Merge remote branch 'remotes/cwebber/sqlalchemy'

* remotes/cwebber/sqlalchemy:
  Beginnings of sqlalchemy models

webfinger fully compliant with webfinger.org! Still *preliminary* solution.

Fix -dev version and add version number docs

Version numbers should adhere to PEP-386.

Changed some thngs to be compatible with webfinger.org, still *very preliminary*

Added *very preliminary* support for webfinger

Change "Submit" to "Add" for ticket #466

Remove "X license" placeholder from media page

Change wording for change_fp; improved the button text

Merge remote branch 'joar/b681-comments_from_reviewing_video'

* joar/b681-comments_from_reviewing_video:
  Bug 681 - Comments from reviewing the new video merge

Merge jQuery branch, resolve conflicts

Merge branch 'sql/dot-notation'

* sql/dot-notation:
  Dot-Notation for MediaEntry.media_data
  Dot-Notation for MediaEntry.media_type
  Dot-Notation for MediaEntry.description(_html)
  Dot-Notation for MediaEntry.slug
  Dot-Notation for MediaEntry.title
  Dot-Notation for MediaEntry.uploader
  Dot-Notation for MediaEntry.created
  Dot-Notation: tests/test_edit.py
  Dot-Notation for Users.fp_token_expire
  Dot-Notation for Users.fp_verification_key
  Dot-Notation for Users.bio and .bio_html
  Dot-Notation for Users.url
  Dot-Notation for Users.is_admin
  Dot-Notation for Users.verification_key
  Dot-Notation for Users.status
  Dot-Notation for Users.email_verified
  Dot-Notation for Users.pw_hash
  Dot-Notation for Users.email
  Dot-Notation for Users.username

Changer version to -dev

Update version numbers

Fix doc footer

This has the correct copyright statement.

Tweak rest formatting

Updated translations

Added the "Media types" chapter

Doc updates

* fixed some language
* fixed some consistency issues
* fixed some 80-line-width issues
* fixed some typos and markup problems

Add some documentation to lazyserver.sh

I had no idea what it did, so I asked and tossed the answer at the
top of the script.

Update README

* tweaked some language
* fixed some statements that aren't correct anymore

Tweak runtests to be more helpful

If nose isn't installed, then runtests.sh says it can't find nosetests
and exits, but doesn't tell you what you need to do to fix the situation.
This fixes that.

Removed extraneous whitespace from video.html

Add a note on how to up the upload size limit

Allow administrators to disable keeping the original.  That's the new default!

Mark "newer/older" buttons for translation

Style changes for media_uploader (now media_specs); removed margins from button_action buttons

Remove pagination images and replace them with unicode characters

Change wording in tags.html

Open Markdown link in new windows; I know _blank is sometimes frowned upon but it may be useful here

Only apply textarea style to comment box

Lots of changes to media page; rearranged things, added new styles, added jquery bits, gave the comment section a refresh

Move author text, "By X", to the sidebar

Bug 681 - Comments from reviewing the new video merge

in mediagoblin.media_types and submodules

- Moved VideoThumbnailer.errors initialization to VideoThumbnailer.__init__
- Cleaned up the image.processing imports
- Removed default ``None`` from get_media_manager(_media_type)

in mediagoblin.views
- Removed media_types import
- Removed sys import, and passing of sys to root.html template

Dot-Notation for MediaEntry.media_data

Dot-Notation for MediaEntry.media_type

Dot-Notation for MediaEntry.description(_html)

Dot-Notation for MediaEntry.slug

Dot-Notation for MediaEntry.title

Dot-Notation for MediaEntry.uploader

Dot-Notation for MediaEntry.created