Merge remote-tracking branch 'pythonsnake/537_version'

* pythonsnake/537_version:
  Added "version" before the version
  Fix bug 537

Fix deleting media with attachments.

If one deletes a media with attachments, there have been
various problems:
1) If the file in the storage did not exist any more (maybe
   because due to a previous deletion attempt?), the error
   propagation failed, because the wrong thing was
   gathered.
2) The attachment database entries were not deleted.
   Using cascade for this, for now.

Also add a simple unit test, that tests both by having a
broken attachment on a media.

Fix errors in collection views

When a collection does not exist, render the 404 page.

Change from email format in tag URI to domain format

Also fixed a bug (thanks pyflakes)

Address concerns in Issue #543

- Fixed PEP-008 issues.
- Removed .user-{user} from the tag URI and put it before the domain,
  such as {user}@{host} instead.
- Use year from collection.created instead of current year.

Add markdown notice to collection description.

Use wtforms_util.render_field_div on the collection
description, so that the markdown notice in the wtform is
actually rendered to html.

Added "version" before the version

Fixing MANIFEST.in: graft expects one directory per line

Updating MANIFEST.in for more files... trying to make this work on pypi :)

Tuned logging and added comments to 511 fix

Fixed issue #511.

Fix bug 537

Merge remote-tracking branch 'refs/remotes/elrond/sql/media_data'

Add type="text/javascript" for <script>.

Our jquery <script> tag did not have a proper type
attribute.

Add translation tags; remove unnecessary title attribute from link

Remove unused translation variable

Fix "Add to collection" button: remove icon, add text, add to collections.html

Remove the collection counter because it's not needed

Kill monkeypatching of ProcessingState.

And change the process_foo() API to accept a
processingstate now.

image and video are tested, the others are UNTESTED.

Also refactor "copy original into public storage".

This makes the processing code easier to read/write and
alos will help the reprocessing once we get to it.

Thanks to Joar Wandborg for testing!

Use ProcessingState for video.

Rewrite video to use the new ProcessingState.

Thanks to Joar Wandborg for testing!

ProcessingState: Document monkey patching.

Implement ProcessingState class and use for images

The idea is to have a class that has the knowledge of the
currently being processed media and also has tools for
that.

The long term idea is to make reprocessing easier by for
example hiding the way the original comes into the
processing code.

Use logging.config.fileConfig()

Instead of the monster I had built before.

Use system wide EXIF package, if available.

Created and tested by Simon Fondrie-Teitler.

Thanks!

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Rename {{title}} to {{media_title}}.

Rename a variable in a translated string to make it easier
for translators to know what they're dealing with.

And add a <title/> block.

Mark "Collection" for translation in media_collect.

Merge remote-tracking branch 'aleksej/quotes_and_a_for_addcoll'

* aleksej/quotes_and_a_for_addcoll:
  Small changes to "Add <media> to collection" string

Small changes to "Add <media> to collection" string

Add quotation marks and "a" ("a" was proposed by Elrond).

Issue 621: Extract strings from hooked templates.

templates using the new hook system were not extracted
properly. One needs to add the new extension to the
extraction process as well.

Search for translation in all templates.

We missed to search for translatable strings in our plugins
and other things that might have templates.

The search is now for **/templates/**.html. That should
catch a lot more.

issue 615: config geolocation_map_visible gone.

The template in the geolocation plugin still used the old
config option. Just remove that. To enable it, you enable
the plugin. No need for extra config.

Tested by manwesulimo2004 (via IRC).

Drop backward compatibility for media_data backref.

Now we only support media_type backrefs with uselist=False.

Drop media_data_table property.

Only when creating a new media_data row, we need the table.
So load that locally in media_data_init().

Turn media.{backref_nam} from a list to a scalar.

For all our media_types, let the backref on the media_entry
be a scalar (there is only one media_data per media_entry)
instead of a list with zero or one entry.

The media_data toolchain on MediaEntry currently handles
both transparently.

Rewrite media_data handling to use relationships

Instead of doing query by hand, use the relationships on
the models to find the media_data. Is is made possible by
the BACKREF_NAME in each models.py, which lets us know the
local attr to ask for.

Also initialize the relationship attribute on new
media_data instead of the media_id. Also do not add it to
the session. This gives us:
- This automatically initializes the other side of the
  relationship, which will allow later acces via that way.
- If the media_data is too early in the session, when the
  (new) media_entry is not yet in there, this could get
  conflicts. Avoid those by not adding to session.
- Uses cascading to commit media_data together with the
  media_entry.

Some tests for media_data, yeah!

One in the submissions, that posts a jpg with gps data.
One in the modelmethods to test some behaviours.

The later test fails.
Fixes coming up.

Improve formatting for hook template docs.

Switching set syntax to python2.6 compatible

Added register_template_hooks and get_hook_templates to the plugin api
auto module documentation.

Even better documentation for get_hook_templates!

Tells how you *can* use it in templates if you really like.

Improved documentation for get_hook_templates, noting the template tag

Moved the docstring for the plugin template stuff from the class to module method

No need for an __init__ at all in the TemplateHookExtension, really.

Move template hook over to a template_hook tag.  Seems to work! :)

Removing unused geolocation_map_visible variable and turning geolocation on in default config

Geolocation stuff, including including templates seems to be working-ish

 - I'm having trouble seeing if the geolocation stuff actually works,
   but plugins are included
 - including a list of template hooks works, however the macro to
   include them does not, so it's kinda verbose

Very start of plugin hooks and openstreetmap pluginification

 - Added start of template hook code to pluginapi.py
 - Started to break openstreetmap into plugin; moved templates
 - Added plugin hooks in media and image media templates

... almost certainly, none of this works yet. :)

Better Py3 compat: d.has_key(k) -> k in d

py3 does not have dict.has_key any more. You have to use
"key in dict" instead. As that works in python2 as well,
let's use that.

Also some small bits of pep8.

Improve runtime of one test.

Do not commit so often. flushing is enough.

Fix issue 611: Proper (back)relationship on MediaComment.

well, fix the relationship on the comments.

Failing testcase for issue 611.

This currently fails (with foreign key constrain error):
1. Have user A and B.
2. User B creates media M.
3. User A post a comment on M.
4. User A deletes his own account.

The test is a little bit wider.

*docs* intersphinx, exception monitoring

Docs: Add a database guide to the plugin docs.

Plugin writers will often need to create new tables. So
give them some hints, what they need to do and where they
might find more info.

Docs: Create new area for developers.

We need some "Part" for developers. Currently, it's named
"Part 4: Developer's Zone".  But we should come up with a
better name soon.

Moved the codebase docs in there for starters.

Add Trim whitespace plugin docs.

Added the documentation (which was already present in
plugindocs/) to the TOC, so it's getting build and linked.

Allow doc string extraction and use for pluginapi.

Allow us to extract docstrings from our sources using the
sphinx.ext.autodoc module.

First use: Extract some of the docs for the pluginapi and
provide it in a new "Plugin API" section.

Updated video apt-get to not use glob

Also changed some literal blocks to code-blocks

Fix reference of get_test_app->get_app in test_modelmethods

(This changed in master while this test was being written; correcting
post-merge.)

Merge branch '216_cwebber_style_unique_slugs'

New mediaentry slug tests now pass!

 - fixed some issues with "whacking uuid junk on the slug"
 - uuid4() -> uuid.uuid4() so that mock will work right
 - added all the tests!

require mock for the new uuid-mocking tests

We don't want any empty string slugs, so make "" -> None

Switching uuid4()[1:4] -> uuid4().hex[:4]

.hex is what we need to access to get at the ascii (hex) version
anyway.  Also, not sure why the previous version grabbed starting at
the index of 1... just grab the first characters instead.

Use better relationships to delete collections.

When deleting a User, his/her collections can be deleted by
sqlalchemy: Collections do not need any special code to be
executed on deletion.

Made pil_filters a PIL_FILTERS (global)

Changed sampling filter default to AA

Made the image sampling filter configurable

- Changed the default to BICUBIC instead of previous ANTIALIAS

Use inspect_table; default user license==None.

Use inspect_table in the new migration. Makes code more
readable, really.

And make the default for the preferred license be None.
This is a userspace thing, so we can even change the
migration here. Changing the migration means, that people
running the migration before this commit get a "" in
User.license_preference, while people running the migration
now get a None. Both values are okay.

None has been designated as "Use the site's default". We're
not actually having a site default right now. Which means
no license is selected in the dropdown.

While "" means "All rights reserved" being chosen by the
user.

Side note: Having no license being selected in the submit
dropdown is as "worse" as before and does not really hurt
much. MediaEntry.license==None means "All rights reserved"
as does "" also do.

user.get('moo') -> user.moo

User fields are always existent, so there is no need to .get() them,
just use them directly.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'refs/remotes/spaetz/521_license_preference' into mergetest

Moved MediaComment form descriptions to apt. place

Also set login_failed in case of form errors

If we send a POST request to the login page which contained form errors
(e.g. a too short password), the variable "login_failed" was not set to
true. This condition was tested by the test suite however, so we should
make sure that login_failed is set even if the form failed to validate.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Restructure ForgotPassword view

1) Remove mongo limitations (no 'or' when querying for either username
or email).

2) Lost password function revealed if an user name or email address
   is registered, which can be considered a data leak.
   Leaking user names is OK, they are public anyway, but don't reveal
   lookup success in case the lookup happened by email address.
   Simply respond: "If you have an account here, we have send you
                    your email"?

3) username and email search was case sensitive. Made username search
   case insensitive (they are always stored lowercase in the db).
   Keep email-address search case sensitive for now. This might need
   further discussion

4) Remove a whole bunch of indention in the style of:
   if no error:
        ...
        if no error:
            ...
            if no error:
                actually do something in the regular case

   by restructuring the function.

5) Outsource the sanity checking for username and email fields into the
   validator function. This way, we get automatic case sanity checking
   and sanitizing for all required fields.

6) Require 5-char password and fix tests

   Originally, the Change password form required a password between 6-30
   chars while the registration and login form did not require anything
   special. This commit introduces a common minimum limit for all forms
   which breaks the test suite which uses a 5 char password by
   default. :-).  As 5 chars seem sensible enough to enforce (people
   should be picking much longer ones anyway), just reduce the limit to
   5 chars, thereby making all tests pass.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Normalize the email address in the same way in all places

We were case normalizing the email address for registration, but not at
all for the forgotten password retrieval. Make a
tools.mail.normalize_email helper that can be used to normalize the
email in the same way in all places.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'refs/remotes/spaetz/436_celery_push'

Sanitize slug input on media edit

Previously we allowed EVERYTHING, even slashes as slug when editing the media.
Make sure we slugify the input to sanitize it.

(+ string formdata is unicode, so there is no need to convert it)

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Add (failing) test for editing the slug.

This test fails, because it tries to set a slug with an "="
in it. And tests that the "=" gets replaced by "-".

Well, it currently is not being replaced.

The next (cherry picked) commit by Sebastian Spaeth fixes
this test!

Enable foreign key checking on sqlite.

sqlite normally does not check foreign key referential
integrity. But it can do so.
So let's use it. Better safe than sorry.

Turn comment list into a real <ul>.

Well, I like semantic html. And the list of comments, well,
is now a list: <ul>.
Using list-style:none it looks nearly the same as before.

Add some simple collection test.

Rename get_test_app to get_app.

nosetests runs everything that even vaguely looks like a
test case... even our get_test_app. And as it is imported
everywhere... it is run everywhere as a test case. Renaming
it saves us about 10+ tests and a few seconds of time.

Remove useless spaces in comment stuff.

When rendering a comment, we had a lot of whitespace. And
some of it made it into the rendered page:
"""<a href=...>abc </a>""" the trailing space gets
rendered and looks ugly.

Translate account deletion.

Mark all the strings in the new account deletion stuff for
translation.

Fix linking to comments.

when linking to a comment in a MediaEntry, the page did not
contain a <a name="comment"> because, well:

We fetched a string comment-id from the routing. And the
pagination code tried to compare that to the int id on the
comment.

Fix is to let routing fetch an int from the url. Easy.

Relatedly remove duplicated comment_id fetching from the
URL in the view.

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Return to media collection page if no collection selected

schendje rightly pointed out that we should not return to the media
homepage if we did not select a collection on the "collect" page, but
should actually return to the collect page.

This is an improvement of the user experience ;-)

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Move workbench into tools directory.

Remove DEFAULT_WORKBENCH_DIR.

We never used this.
Removed, as okayed by cwebber.

Merge remote-tracking branch 'refs/remotes/spaetz/565_workbench_cleanup'

Add a license preference field

This feature is absolutely necessary. Now a user can simply define
their default license and quickly go through a form, as opposed to
stopping to click on the select and choosing the same option over
and over again.

Also added DB migration for the field, so that's working now, too.

Rebased by Sebastian and made the default value to be unicode.

Reviewed-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Add "Browse collections" link to profile pages

adding back dropdown.js now that we have, well, a dropdown again :)

Merge remote-tracking branch 'refs/remotes/origin/533-new-dropdown'

Conflicts:
mediagoblin/templates/mediagoblin/base.html
mediagoblin/templates/mediagoblin/root.html

Merge commit '9408938' from 565_workbench_cleanup (spaetz)

CSS edits to dropdown menu; added log out button for unverified users

Change position of "Delete account" link, put it below the form

Better "delete my account" placement

Improve the "delete my account" link location by not placing it outside the
main content bar. It still might require more tweaks.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>