Create add_media_to_collection()

The ideas is by Alon Levy.

Not only media_collect, but also other places might want to
add media to a collection. So refactor this into a function
for easier usage.

Doc string for ProcessingState.

resize_image: Refactor config loading a small bit.

Well, get the config into a local variable, for easier access.

Cleanup storage after test, and test .delete_dir().

The storage tests work in the system's tmpdir. The python
docs say, we should clean up after using things.  Yes the
directory should be cleaned up on reboot, but if running
tests a lot, the tmpdir could fill up, so we should really
cleanup.

So use the new .delete_dir() on the storage interface to
cleanup test dirs and get them finally removed with
os.rmdir. All nicely packed into cleanup_storage().

Merge remote-tracking branch 'remotes/npigeon/ticket-601'

bumping image quality to 90, after conversation with Elrond

Bumping the default image quality up to 85.

image quality can be set in config file

(cherry-picked from
 https://gitorious.org/~dunkyp/mediagoblin/dunkyps-mediagoblin/commits/image_quality)

Refactor test configs.

All the hook_* tests use the same config, so refactor it.

removing old callable utilities and porting stuff over.

Let's not use reserved keywords :)

changing the things to document in api.rst

Added new tests to test hook_transform()

we should be returning the result, not None!

Adjusting tests to use hook_handle and hook_runall

fixing hook_handle for when result is never assigned, avoid reference without assignent

As Elrond points out, we might as well .pop() default_handler

Hooks: the Next Generation!

I have not tested any of this but it looks right ;)

A warning about the plugin API being unstable.

And... pyblosxom code removed again :)

We agreed on a new direction on IRC last night...

pyblosxom run_callback hoisted

Moving the rest of the relevant tests to have test_app set up in "def setup()" as well

at pytest author's advice, changing the way _setup back to -> setup

They showed me how to use @pytest.fixture, which allowed us to pass the
test into setup!

piwigo: Send NotImplemented for unknown methods.

That's somewhat, what piwigo does.

Use check_file_field in pwg_images_addSimple.

Start to use six for basestring.

six allows us to smoothly get more forward compatible with
py3.  The idea is to change things over to use six, when/if
we feel a need for it.

stl:blender_render() - Remove useless arg_string.

Fixing typo in calling render_http_exception

ppoppler -> poppler tyop fix

Turning image's media manager into a new style class.

images are the first media type to use the new style class
based media manager.

Add sniff_handler method to mediamanagers.

The MediaManagerBase gets a fallback "return False" one.
The Compat-Manager checks in the dict and calls that one or
returns False.

Add MediaManagerBase class.

This is the base class for all new style class based media
managers.

MediaManager: Use .foo instead of ['foo'].

To make .media_fetch_order work, create a property.

First step towards a MediaManager class: Compat one.

To get us moving towards a MediaManager class, the first
idea is to create a class that wraps our current dict based
manager and makes all users happy.

update documentation for s/nose/py.test/

Signed-off-by: Alon Levy <alon@pobox.com>

PIL: Support systems with Pillow and without

Fixes for systems with Pillow, but leaves a "try: except ImportError" to
support anything that doesn't have a PIL top level import.

Signed-off-by: Alon Levy <alon@pobox.com>

pdf/processing.py: don't use check_output, only in python>=2.7

Signed-off-by: Alon Levy <alon@pobox.com>

Refactor test resources into new resources.py

PDF: Use pytest.mark.skipif for skipping tests

Instead of leaving test early if they can not run, use the
pytest.mark.skipif marked to tell the test system not to
even run the test.

This also adds to the stats, because skipped tests are
counted differently. Thus making it obvious, that some
tests did not run, because of any reason.

Switch to an apparently newer version of pdf.js per irc.mozilla.org #pdfjs recommendations

Changed the max character length for tags on media to 255. Only had to change one line in mediagoblin/config_spec.ini
in response to isses.mediagoblin.org/ticket/601

test_timesince() doesn't need a complete test_app.

Removing unused imports

Removing unused imports and an unused media_files dict reference

pdf: use pdf.js in an iframe

add pdf media type

The new media type supports pdf and a subset of media recognized by libreoffice via
unoconv.

Every document added goes through:
* conversion to pdf with unoconv if not already a pdf
* creation of thumbnail and medium sized image, and pdfinfo generates
 some information (even for unoconv produces docs - should fix this)

Poppler (pdftocairo, pdfinfo) is used.  http://poppler.freedesktop.org/

A working but uglified pdf.js integration exists, which is enabled by
setting pdf.pdf_js=true mediagoblin_local.ini (disabled in mediagoblin.ini)

Adds one test to the test_submission test suite, and another separate test_pdf suite.
The tests are only run if media_types.pdf.processing.check_prerequisites passes, so
the test suite will not require any extra package.

TODO: make test suite say 'skipped' in that case instead of just 'ok'

Signed-off-by: Alon Levy <alon@pobox.com>

document submodule usage

Signed-off-by: Alon Levy <alon@pobox.com>

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Merge remote-tracking branch 'refs/remotes/tsyesika/599-allow-email-login'

Merge remote-tracking branch 'joar-github/oauth/refresh_tokens'

This merges the patch for Issue #548.

Text-align the headers on the media panel to the left to avoid confusion

Thanks to Tsyesika for pointing this out!

Adding Jessica Tallon to AUTHORS!

Comment when/author link styling changes

Why not also display the times on when these media were created

Changing translations to say "amount of time ago", basically

Previously they were just "amount of time"... I think this fits a bit better.

Merge remote-tracking branch 'refs/remotes/tsyesika/394-fuzzy-timestamp'

Allows you to use your username or email to login

Adds the fuzzy timestamp to the admin panel too

Adds the unit tests and removes useless function we don't use

adding callable_runone and callable_runall to the docs

Adds the timesince ability which fixes #394

Merge branch '637_friendlier_hooks'

Switch several functions over to using the new callable_run* tools!

Remove unhandled_okay from kwargs if it's there before passing to functions.

callable hook convenience functions.. now work, and with tests!

 - Added three "callables" test plugins.
 - updated callable_runone to check for unhandled_okay in the kwargs
   dict.

All passing!

Open Source -> Free Software from the borrowed extlib repositories

We're a GNU project, gotta get with the GNU world order ;)

Adding some help about what to do if flup flakes out on you

Fix sessions so they work across the site.

Make session cookies more secure.

1. Our session cookies only need to be available to http, so
   mark them appropiately.

2. Send the cookie to the subpath for mediagoblin.

And instantiate a session manager on the app, once.

Remove the last traces of beaker.

There were still some traces of beaker around:
- docs: replaced by reference to itsdangerous.
- paste configs: Wiped away.
- config_spec.ini: wiped.
- test_mgoblin_app.ini: also wiped.

Fix left over from variable renaming.

Merge remote-tracking branch 'brett/itsdangerous'

* brett/itsdangerous:
  Call is_updated instead of testing it boolean.
  Harden It's Dangerous key management.
  First tests for the Session class.
  Set a starting value for session.send_new_cookie.
  Remove beaker stuff from the code.
  Delete the session cookie on an empty session.
  Back sessions with It's Dangerous.
  Improve fs security for itsdangerous secret.
  Docs for get_timed_signer_url.
  Basic itsdangerous infrastructure.

Conflicts:
mediagoblin/tests/test_cache.py

tests for new pluginapi methods that can't possibly pass yet :)

Use cascade for comment deletion.

Also use the relationship for getting the comments on a
MediaEntry.

Testing: Remove some left over files/dirs.

When using tempfile.* in testing, those files get created
in the system tempdir. The docs say, we should try to
remove them.
Yes, the next reboot will clean them up also.

And in the workbench case, check after each test, that the
global workbench dir is empty (so the sub-workbcnhes have
been destroyed).

Implement queue dir delete for proc_state.delete_queue_file

Implement queue dir deleting in the
proc_state.delete_queue_file helper function.

Merge remote-tracking branch 'cwebber/254_delete_queue_directories'

* cwebber/254_delete_queue_directories:
  Removing docstring bit about delete_file possibly deleting directories in the future
  Convert media processing backends to delete the queue directory (#254)
  Implement delete_dir in the FileStorage

Conflicts:
mediagoblin/media_types/image/processing.py
mediagoblin/media_types/video/processing.py

Conflicts, because those media_types already use the newer
proc_state.delete_queue_file() method (which needs
updating.

Convenience functions for callable hooks

Teach runtests.sh the -n arg.

If you give "-n 8" to runtests, it thinks, it got
"-n" -- a nice option, ignored.
"8"  -- Oh! a single test named "8" to run, so no need to
        run all the GMG tests.

Well, that's not what we want. So runtests now knows about
-n taking an arg.

OAuth: Support refresh tokens, etc

Initially I was going to write a failing test for refresh tokens. Thus
this fix includes an orphaned 'expect_failure' method in test utils.

I ended up writing support for OAuth refresh tokens, as well as a lot of
cleanup (hopefully) in the OAuth plugin code.

**Rebase**: While waiting for this stuff to be merged, the testing
framework changed, it comes with batteries included regarding fails.
Removed legacy nosetest helper.

Also added a lot of backref=backref([...], cascade='all, delete-orphan')

Really removing nosetests things now!  all assert_whatever removed

Better docs for GenerateSlugMixin.

Use GenerateSlugMixin for collections.

Use the new way of generating slugs also for collections.
Also drop the dummy_db arg to check_collection_slug_used.

Refactor generate_slug into a mixin.

Refactor the new generate_slug into a mixin to
allow it to be used for collections also.

Merge branch '614_multi_test_config'

Switch test_app generation over to use py.test fixtures.

By doing this, we can take advantage of py.test's ability to create
temporary directories that are then cleaned up later during testing.
This helps for sandboxing things.

This also involves a ton of changes:
 - Changing the get_app stuff appropriately, getting rid of the
   setup_fresh_app decorator
 - Making said fixture
 - Switching over a billion tests to use it

Oops, forgot to assign dump_old_app to self, heh.

Turning setup_fresh_app into SetupFreshApp, a decorator with options!

This way people can pass in particular paste/mediagoblin configs that they want to use.

Updating get_app to allow for passing in particular app configs

Also require pytest-xdist!

Use py.test --boxed for unit tests from now on!

These tests need to have a MediaGoblin app setup so they can connect to the db!

Thanks to py.test --boxed for helping discover that ;)

All mediagoblin tests now pass with py.test (switched setUp to setup)

Create ProcessingState.store_public.

The ideas is by Alon Levy.

Use it in ProcessingState.copy_original for now.

Little refactoring for images: media_files.

Set the media_files directly at the relvant places.

A bit of pep8: Remove useless whitespace.

Merge remote-tracking branch 'JDShu/649_use_form_data_field'

* JDShu/649_use_form_data_field:
  Use WTForms data field in user_pages/views.py
  Use WTForms data field in auth/views.py
  auth: whitespace cleanup in views.py
  Use WTForms data field in plugins/oauth/views.py
  Use WTForms data field in submit/views.py
  Use WTForms data field in edit/views.py

Merge branch 'master' of gitorious.org:mediagoblin/mediagoblin

Warning that raven plugin is somewhat experimental!

Refactor file field checking.

When uploading, the file field needs some checks, it seems.
So refactor them into check_file_field and use around.