sql db design suggestions by Svavar Kjarrval

Many thanks go to Svavar Kjarrval who has taken a deeper
look at our current sql db design and made a bunch of
suggestions.  The suggestions are currently put as TODO
items in the docstrings.  This way we can keep track of
them directly where we need it.

Fix for ticket #386

Fix docs version

Update version to 0.3.0-dev

Update version numbers

Committing extracted and compiled translations

Removing youcanhelp stuff

This was never used. It doesn't support Texinfo files. It was only half
completed. Best to remove it.

Update copyright headers for shell scripts

Added info on how to enable ascii art

Updating codebase.rst to reflect the modern mediagoblin world

 - adding/removing libraries listed as appropriate
 - buildout->virtualenv references
 - Updating directory structure description to reflect current reality

Minor rewording

Tried to address confusion I had when I read the document and tweaked
some formatting.

Fix copyright statements; add LICENSE for EXIF.py

Fully qualify the import of asciitoimage

Added CC0 header to all MediaGoblin docs in docs/source/

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Committing present MediaGoblin translations before pushing extracted messages

Fix EXIF based image rotation test

The test checks for a pixel value after rotation (good
idea!). But the value seems to be a bit different on some
platforms, so use a list of seen values.

Not the perfect solution, but it works.

ASCII media support - Fixes

- Added debug logging in
  - mediagoblin.processing
  - mediagoblin.media_types.ascii.processing
  - mediagoblin.media_types.ascii.asciitoimage

ASCII art support - Fixes

- Improved(?) character set detection, chardet will not win
  over UTF-8 unless it is >= 90% sure.
- Changed the unicode.txt to ascii-portable.txt, since there is
  no unicode in the file.
- etc.

Added extensions 'asc' and 'nfo' to ASCII media type

It's 2012 all up in here

Updating deployment guide so that it can handle the current virtualenv site-packages changes

Now it should try using --system-site-packages and if that
fails (older version) it tries it without the argument.

Some small SQL model improvements

- Add default for User.email_verified
- Add default for MediaEntry.state
- Let PathTupleWithSlashes store [] as "NULL",
  but not handling the reverse properly yet!
- Add _id alias field to MediaEntry and MediaComment

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Adding a line reminding user to push up commits

Committing extracted and compiled translations

Hm, maybe this is better... that didn't fix the stop-in-the-middle issue.

Update update_translations script to consider several things conditionally

Specifically, previously if there was nothing to git add, whole script would just die

Nearly complete support for Tags

These changes allow all of the rest of the code to use tags
in sql as they were used on mongo. It's not efficient at
all, as changing tags usually means to remove all old tags
and adding all new.

The only problem here is: Old slugs for tags are not
removed, because they're shared across all MediaTags and
dropping orphans is not always easy.

Resized a test_exif test image. 1.9M is unnecessarily large.

Merge remote-tracking branch 'joar/exif-rebase'

Add develover sql switch

If you want to play with the current state of sql, you need
a switch to turn it on. So here is the super secret
developer switch.

So you want to know where it is?

Here it is:

Create a file mediagoblin/db/sql_switch.py and put one line
in it: "use_sql = True" (or False to disable again). Right,
that's it. If you want to delete it, remember to delete the
*.pyc too.

Be careful not to "git add" it by accident!

We were using translitcodec and I didn't understand how it worked ;)

My bad!

We aren't using translitcodec anymore.  Kill it!

Let some code support "media without slug"

The upcoming SQL database will allow having media without a
slug again. This might especially be useful for API
support, where the uploaded image (media) does not have
*any* information to generate a slug from.

This code change mostly allows the sql backend to have no
slug in its model and improves some parts to properly
handle that.

It specifically does not have any web frontend support to
edit/create MediaEntries with no slug.

JavaScript fixes - AGPL headers, etc

- Added AGPL header to comment_show.js, show_password.js
  and geolocation-map.js
- Removed console.log from geolocation-map.js

Scripts and styleshets for geolocation map - Conditional

Scripts and stylesheets for the geolocation map are now
switched on/off with the geolocation map itself.

Adding previously erroneously gitignored extlib/leaflet/{lib,dist,build}/ files

Updated .gitignore due to it blacking out the extlib/leaflet/dist/ directory

Move declarative_base Base into base.py

The base class of all models "Base" should be in base.py.

Add "mediagoblin/templates *.txt" to packaging

Again thanks to Clint Byrum!

Drop all buildout things

virtualenv is working for everyone.
No need for the buildout stuff any more.

Packaging improvement by Clint Byrum from Debian/Ubuntu

1) MANIFEST.in missed a bunch of things, especially
   config_spec.ini.

2) You need to specify include_package_data=True in
   setup.py to actually activate MANIFEST.in it seems.

Thanks go to Clint Byrum!

Refractored media.html template and related includes

- Added <p> around license part to separate it properly
  from other sidebar content
- Moved exif part to mediagoblin/utils/exif.html
- Moved geolocation map to mediagoblin/utils/geolocation_map.html

Acts on feedback from Chris

- Added EXIF tests
- Removed pdb from image processing "ifmain"
- Fixed comment typo in image processing
- Removed unused import in tools.exif

Moved EXIF to sidebar, added conditions for visibility configuration settings

Added exif_visisble and geolocation_map_visible to config_spec

EXIF fixes

- Moved exif functions from mediagoblin.media_types.image.processing
  to mediagoblin.tools.exif
- Moved EXIF.py link from mediagoblin.media_types to mediagoblin.tools.extlib
- Refractored and updated EXIF exctraction and presentation

Removed link to EXIF.py in media_types.image

EXIF extraction, geolocation map, image rotation

- Images are now rotated based on EXIF image orientation
  (in case the image isn't flipped on X or Y axis or
  correctly oriented, then we do nothing)
- *Always* create a medium.jpg in image.processing, for
  the sake of rotation of display image
- Extract EXIF and GPS tags from images and insert them
  into media_data
- Geolocation map display added to media.html
- EXIF display added, then removed. It is not in this
  revision, although some of it is (the "EXIF" h4
  header). Need to make it presentable, filtering out
  purely robotical tags, perhaps.

Added code for leaflet geolocation map

Installed EXIF.py in extlibs/

Installed leaflet in extlib

Proper url_to_{prev,next} for SQL

Uses complete sqlalchemy syntax now.

Create a fully functional get_comments for SQL

Using proper sqlalchemy syntax instead of the emulated
mongo one.

Canonical license URIS for CC stuff should have a trailing slash.

Show the license list in sorted form

Oops, I broke teh all rights reserved ;)

Provided a SORTED_SUPPORTED_LICENSES (but keep the old unsorted dict!)

Convert over the license field, too!

License "all rights reserved" default should be None/NULL, not empty string

Fix unit tests with new license support

Make the license field in the forms optional and let them
properly be defaulted to "".

Added migration for license field, resolved conflict in db/sql/models.py

Add copyright header and a bit of pep8ification

Nearly all the sql files missed a copyright header.
So added it!
And while there fixed a few pep8 things.

Use custom query class

A custom query class allows to add more methods on
queries (read: "cursors").

This custom query class especially adds a .sort with a
calling convention exactly like the mongo one.
Makes a lot of existing code happy!

Minor formatting and syntax fix.

Moved get_license_data to mixin.py, added license to sql media model, added translation tags to license template.

Merge branch 'mediagoblin-upstream' into feature544_basic_license_data

sql/fake.py: Some fake objects/methods to calm the code

sql/fake.py contains some fake classes and functions to
calm the rest of the code base. Or provide super minimal
implementations.

Currently:
- ObjectId "class": It's a function mostly doing
  int(first_arg) to convert string primary keys into
  integer primary keys.
- InvalidId exception
- DESCENING "constant"

Cleaned the code

We handle exceptions if PuSH fails

Merge remote branch 'remotes/macno/pushatom'

* remotes/macno/pushatom:
  As per spec, we permit to have more then 1 hub
  As suggested by Elrond, we use only one setting
  Default is now PuSH disabled
  Added PuSH capability

Changed license.html to fit new layout better

Fixed a syntax error in edit/views and added back in some missing license stuff from models

Added new files

Fixed merge with upstream

Merged changes with upstream

First crack at basic license support.

Small fix to simplify font style

Another small text style fix

Small margin/font-weight fix

Drop sessions with invalid ObjectIds

The session can contain invalid objectids when switching a
more or less live instance (with logged in users) from
mongo to sql or vice versa.
So drop the complete session and force the user to login
again.

Move maketarball.sh into devtools/

Now that there is a devtools directory, use it!

make this script executable

Simple translation update script

Fix request.user==None error

If one isn't logged in and views the profile of a user
without media, one gets a problem, because request.user is
None and has no _id attribute.

Fix this.

Remove unnecessary piece of text in media.html. Fix "Markdown text" indentation so they are the same.

Add CC0 license header to Sphinx MediaGoblin theme (mg.css)

As per spec, we permit to have more then 1 hub

As suggested by Elrond, we use only one setting

Default is now PuSH disabled

Added PuSH capability

Add MediaFile table and related infrastructure.

- This adds a new SQL table field type for path tuples.
  They're stored as '/' separated unicode strings.

- Uses it to implement a MediaFile table.

- Add relationship and proxy fields on MediaEntry to give a
  nice media_files "view" there.

- Let the converter fill the MediaFile.

Dot-Notation: Some random places

Fix url_for_self mixup

Move changes from mongo/models:url_for_self back into
mixin:url_for_self.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Conflicts:
mediagoblin/db/mongo/models.py

Fixed #724 and added extra infos to the atom feed (author uri and links to the html version of each entry)

Added check for request.user to media.html attachment-related conditional