Only log output and write progress to db if it has changed

De-noisify the transcoding log and db updates. Previously we would log
and save the progress percentage every second, even if it had not changed
at all. Save progress:oercentage in the Transcoder and only log/update
when the percentage has actually changed.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Try ipython-based shell first, falling back to plain shell

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

makeadmin and changepasswd had swapped help text

Remove collection_thumbnail styling, so collection thumbnails are styled the same as other thumbnails

Release note 0.3.2 blurb

On MongoDB...

Adding info to the docs about running dbupdate

Both adding info to run it when adding new media types, and adding
info that you might need to stop mediagoblin before you run these
commands.

Switching both gettext calls to _() so babel can find/extract them.

Babel looks for _() and gettext() so this is necessary.

Add comments explaining how translitcodec *is* used

Add example to the lazy gettext version to make clear when it's appropriate

I needed an example to really get when lazy_gettext would be good...

Use the correct translation mechanism

We accidentally used the fake translation mechanism here which will not
actually translate anything.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Fiy python2.7'ism (#566)

The oauth plugin used timedelta.total_seconds which was introduced
in python 2.7 only. To preserve backwards compatability, we simply
calculate the time difference in seconds manually.

I considered monkeypatching total_seconds to the timedelta object,
but it is a built-in type written in C (I believe) and modifying
attributes failed horribly. Switch this to use total_seconds once we
require python 2.7 as minimum version.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Small styling edits to thumbnails

Make "add media to collection" a normal <img/>

This button used to be a css style <a href=...> </a> (note:
No contents for the <a>). Using this approach has various
drawbacks. Most notably:
- Not clickable in text mode browsers
- Possibly getting marked as a hidden (spam) link
- No alt attribute

So replaced with a real <img/>.

I have no idea what to put in the alt attribute.

Migrate some fixes from base.html to airy/base.html.

When fixing our templates, we should always take a look at
the other themes and fix those too.

Do not translate just a variable expansion.

No point in translating <p>{{ var }}</p>. Really.

This does not hurt the string freeze, as it removes a
translateable string.  So any translations of this string
are just well ...  usefuless afterwards.

Fix spacing in links to attachment files.

We had """<a href="abc.dat"> abc.dat</a>""" (note the
apace).  And this space is being rendered as a link by
browsers.  This looks strange, really.

So fix the spacing.

We don't need to save entries during processing... also adding comments explaining such

More unicode fixes in the test suite

Pass in unicode not (binary) strings where sqlite expects unicode
values to prevent the test suite from (correctly) complaining about
errors.

I now pass the full suite without any complaints.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Setting the user profile back to 3 columns wide!

Previously this was set to two when the spacing between thumbs got borkified.

Make sqlalchemy stop complaining about non-unicode input

These tests output noisy sql complaints about receiving non-unicode
for an unicode field. This was ... well ... because we were handing
in non-unicode usernames and passwords.

Prefixing usernames/passwords with u'' makes the testsuite less noisy
and verbose.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Fix CSRF tests with webtest 1.4.0

CSRF tests apparently passed with earlier versions of webtest, but
failed with the latest webtest (1.4.0) package. It choked on passing
a "key=value; " cookie as it split at the semicolon and failed to
find additional values or something like that. Removing the semicolon
makes this test pass.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Remove print statments from this migration.

The reason for wanting to give extra information to the user (this is
a very special case migration) is good, but we don't have a nice
"official" way to capture and present that information during tests,
so removing this.

Fix typo, disable debugging.

UniqueConstraing migration: Adding the explaining comments.

Add a lengthy comment explaining all the variants.

Fixing our broken CollectionItem unique constraint.

This one seems to work nicely in all relevant situations.
See comments inside the source.

Ensure query_dict is a dict after the contents have been modified.

_fix_query_dict modifies its argument in place. Ensure that the
argument passed in has a local name and will be passed into the
subsequent filter_by call.

Eeek!  Set the migration number to the current migration number being run!

Elrond's suggestion: have set_current_migration execute after each migration run.

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Add a UniqueConstraint add test in test_sql_migrations

We should have this anyway, and Elrond needs it to help fix current
broken migration thingies.

Fix user collection gallery

We were fetching the user collection gallery by slug only, so if two users
had the same collection slug, we would not have been sure which one we'd get.

Fix this by explicitly only fetching the specific user's collections. Also
switch over the view function to make use of the new active_user_from_url
decorator that fetches the User() object for us.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Switch over the user gallery to the active_user_from_url decorator

This switches the user gallery page over to use the new decorator, and
cleans up the queries to be in proper sqlalchemy format rather than the
old mongo format.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Create a active_user_from_url decorator

This can be used for URL patterns containing a <user> element. It will look
up the corresponding user among all active users and return a 404 NOT FOUND
page if there is no such active user. It then passes the User() instance as
url_user keyword argument to the decorated view function.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Remove gridify_*

We injected a gridify_list and gridify_cursor function into each jinja2
template that we render. This was used to split the list of media_entries
into batches of 5 for nicer table columns. However, jinja2 has a nice |batch
filter built in that does the job for us just as well with less code (on our side)

Less code=good

so let's merge this one.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

We arean't using header_dropdown.js anymore because the dropdown is gone!

make media_manager a property of MediaEntry in mixin.py

In all cases where get_media_manager(_media_type_as_string) was called in
our code base we ultimately passed in a "MediaEntry().media_type" to get
the matching MEDIA_MANAGER. It so makes sense to make this a function of
the MediaEntry rather than a global function in mediagoblin.media_types and
passing around media_entry.media_type as arguments all the time.

It saves a few import statements and arguments. I also made it so the
Media_manager property is cached for subsequent calls, although I am not too
sure that this is needed (there are other cases for which this would make
more sense)

Also add a get_media_manager test to the media submission tests. It submits
an image and checks that both media.media_type and media.media_manager
return the right thing. Not sure if these tests could not be merged with an
existing submission test, but it can't hurt to have things explicit.

TODO: Right now we iterate through all existing media_managers to find the
right one based on the string of its module name. This should be made a simple
dict lookup to avoid all the extra work.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Fallback to "en_US" if browser does not send preferred languages

E.g. in our test suite we don't send an "accepted languages" header, which
caused the language matching to fail. So we need to explicitely fallback to
en_US, in case request.accepted_languages is None. This fixes the tests and
all cases where user browsers don't send preferred languages.

This also fixes issue #562, the AVAILABLE_LOCALES are already case-normalized
and we don't need to fudge the preferred language through the lower_upper_locale
thing for each and every request.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Moving thingiview.js into extlib/

Switch stl processing over to using the workbench

Previously this was writing directly to the public store... that won't
work with cloudfiles backend, for example :)

Correcting minor typo in exception string: Empyt->Empty

Removing unused conversions subdir

Moving blender render files to be accessed via pkg_resources

Previously the .blend and .py files had to be in the same directory
mediagoblin/celery launched from.  This is now fixed so it pulls them
out of the package proper.

Removing render_test.py, which isn't used

Removed debug info from the sidebar.

tweaking the template

Fixed the binary stl loader.

Disabled thingiview for obj models, since thingiview's support for them seems to be broken.

Added a table to store the file extension of a model.

Updated the template for viewing stl models.

Added preview rendering for a bunch of different shots.

Catching ValueError when trying to use ObjModel on binary stl files.

Added script for manually testing the blender renderer.

Added blender renderer

made 3d viewer a little cleaner

disabled auto rotate

Added the stl/obj mediatype.

Added a rudimentary template for the stl/obj viewer.

Added the thingiview.js library.

Added the thingiview.js library.

Committing extracted and compiled translations

Committing present MediaGoblin translations before pushing extracted messages

Fix translations around.

This includes:
- Mark more strings for translation
- Don't mark html-only nonsense for translation
- Mark a better part for translation.

Go back to pre-login URL after loging in

Simply append the current URL (sans querystring) as a ?next= parameter
to the login URL. This will always take us back to the original page
where we were pre-login.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Provide jinja2 urlencode filter

Astonishingly, the great jinja2 does not provide a builtin urlquote filter,
although it is obviously needed. (jina1 had one) This is:
https://github.com/mitsuhiko/jinja2/issues/17

Provide an urlencode filter, based on werkzeug's url_quote_plus function.
This is dead easy to implement and gives us all the freedom we want.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Add extlibs to packaging

setup.py bdist fails as it can't find the extlib's. DOH, that is because
we don't package them.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Use pypi-compatible license signature

It complains about a non-compatible license string. so use the
GNU AGPL v3+ string that is listed at
http://pypi.python.org/pypi?%3Aaction=list_classifiers

With this change, we are able to create a  pypi mediagoblin package.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

en_US is always available

We were using "en" as fallback only when no preferred language matched.
This is obviously bad. Always insert en_US as available locale, so we
can match it with the accept_languages.

Don't set available_locales as mg_global, per discussion with paroneaya,
make it a global var in translate.py

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Fixing bug where not all conditions returned a language in get_locale_from_request()

Just had to change the indentation level of the last commit.

Fall back to "en" if we don't find matching translations

In case of no matching translations, target_lang was "None" which
blew up things. Fall back to "en" in case we don't find a
corresponding translation.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Also package i18n/*.mo

....
and I wondered why my production site fails to display German pages...

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Honor user's browser language (#558)

Previously we would attempt to satisfy the user's first language
preference, immediately falling back to english if that was not
possible. Now, we will get the best match of the user's preferred
languages.

This requires storing the available locales on app startup, so we
have mg_globals.available_locales ready to compare them against the
list of preferred user languages.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Fix i18n in our browser

We only ever served english pages since the switch to werkzeug's requests.
Fix this by actually checking the accepted languages that our web browser
sends and using that or falling back to english.

This is not optimal, imaging our browser sends "klingon, de" as accepted
languages and we happen to not have a klingon translation ready (a deficiency
that should be corrected immediately anyway!!). We would then fall back
to english rather than sending the sensible and pleasant German language
which the user would understand. This will require more backend work though.

Removing the gettext.find() in mg_globals.py. It looked in the wrong directory
anyway (mediagoblin/translations) and as that does not exist, had always returned
None without anyone noticing.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

docs: Add trim_whitespaces plugin to relnotes and documentation

Rather than mentioning a hypothetical module restrictfive, we use the
existing plugin mediagoblin-licenses that people can install. Also,
mention that plugin in the release notes.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

trim_whitespace meddleware plugin

Our HTML output is very verbose (=whitespacy) as our templates are
written with an 80 char limit and lots of newlines between blocks,
variables etc....

This is a plugin that naively strips of all but the first whitespace
from the HTML response. We might want to have an all-fancy html tidy
interface here at some point, but it nicely decreases the HTML size
about a third on some simple pages.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Make ENABLED_MEDDLEWARES a list and not a tuple, so we can modify it

Plugins may want to insert meddlewares, so this list should be modifiable
at very list (if we don't want to provide helper methods for this, which
seems a tad overkill for now).

This change is required for the upcoming trim_whitespace plugin.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Remove the NoOp meddleware

There is really no reason to provide and enable a meddleware that
does exactly... NOTHING ...by default.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Implement licenses.get_license_by_url

Rather than exploding in the user's face (for example if we custom-configure
licenses in our MG instance, and there are still media with now "unknown"
licenses in the db), simply return a License object as a fallback, where all
attributes are set to the URL we were handed.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Improve mediagoblin.tools.licenses

"Objectify" our licenses to have .uri, .abbreviation, .name attributes
that we can pass into the templates and use there. namedtuples are a good
poor man's choice to make a License a class. (a named tuple really)

Document and optimize licenses_as_choices(), it is a one-liner really.
No need for verbose appends here...

Use mediagoblin import machinery

Rather than manually __importing__ the MEDIA_MANAGER, we should have
been using tools.common.import_component in the first place.

But even better to use the existing get_media_manager() function that
exists for exactly our purpose. Also improve documentation of what happens
in case of failure.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Remove importlib (python2.7'ism)

importlib is cool, but only included in python2.7 which is beyond our
minimum python version that we support. So simply use plain old
__import__.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'spaetz/formerge/538_FORBIDDEN_admin_pages'

* spaetz/formerge/538_FORBIDDEN_admin_pages:
  Fix error page text
  Return code 403 when accessing admin pages
  Implement generic error pages

Fix error page text

Thanks to Elrond for noticing. We wrap error messages in <p> tags,
so there is no need to start the error message with <p>. DOH

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'spaetz/formerge/bundle_xml_templates_too'

* spaetz/formerge/bundle_xml_templates_too:
  Also package webfinger.xml

Also package webfinger.xml

MANIFEST.in did not include *.xml for our templates, so the webfinger
template files got left out of our packaging with e.g. "setup.py install".
Fixed.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'spaetz/formerge/507_remove_routes'

* spaetz/formerge/507_remove_routes:
  Purge routes package from MG (#507)

Return code 403 when accessing admin pages

without being an admin. Previously we were just returning a 404 page
and this confused the heck out of me, as I did not understand why the
admin pages were not there at all (I was no admin).

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Implement generic error pages

Rather than having a 404.html, a 403.html, a 500.html,...
we have a generic error.html template that we pass in an
error code, a title and a (html'ish) error message.

Implement the common render_404 and render_403 shortcuts. More exotic
cases can be achieved by the generic render_error function.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge some small bits by spaetz. Needed later.

* commit '9437ea4742':
  Add commit argument to clean_orphan_tags
  Add "commit" argument to Base model delete()

Add commit argument to clean_orphan_tags

So we can prevent the session from being committed if we don't want it.

Add "commit" argument to Base model delete()

In case we want to bundle db actions into a single transaction, we
can now use delete(commit=False) to prevent the transaction from being
committed immediately. This is useful when e.g. deleting a User() and
thousands of his MediaEntries in a single commit.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'spaetz/focus_on_user_creation'

Merge remote-tracking branch 'refs/remotes/elrond/sql/migrate_new_tables'

Autofocus the username field on user creation

On a page with the single purpose to enter new user data, we should
auto-focus the username field. It is very annoying to have to click in
that field before starting to type. Theoretically, there is the "autofocus"
attribute in html5, but IE does not support that.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Merge remote-tracking branch 'spaetz/390_delim' into review

* spaetz/390_delim:
  No need to strip the tag 4 times
  Slightly shorten the media_tags_as_string function
  Remove tag delimiter configurability (#390), fixed pep-8 compliance

Merge remote-tracking branch 'elrond/for-schendje'

geolocation now on by default

Merge remote-tracking branch 'remotes/spaetz/410_OSM_attrib_v2'

Some small template changes

1) Change the "dashboard":
   - Add a bunch of new links: Processing panel, Add media
   - Use <ul>+<li> for the *list* of possible actions
2) Add a title attribute to the "add media to collection" link

Stop unicode conversion warning during dbupdate.

Just force the passed in name to MigrationManager() to unicode.