fixed tests and defaults

made no upload limit the default

typos

added tests

added user upload limits

only use the width for video thumbnails to keep the correct scaling

Fixing migration name.  webm not wemb :)

Merge remote-tracking branch 'refs/remotes/rodney757/reprocessing'

Conflicts:
mediagoblin/processing/task.py
mediagoblin/submit/lib.py

rename webm_640 to webm_video since it might be a different resolution

Oops, this accidently slipped in there

Revert "This patch checks for libs instead of programs in configure.ac for sqlite3 and postgesql."

This reverts commit 26da3271f6e6a880c0418998d5a4e5e71081e1f7.

use href='javascript:;' instead of href='#notifications', etc

This patch checks for libs instead of programs in configure.ac for sqlite3 and postgesql.

Patch submitted by amirouche

- need self.metadata with BaseProcessingFail
- pass feed_url into ProcessMedia run()

 -update to latest master
- have mg generate task_id

remove

Remove specific celery version requirement

Any celery above 2.5 should work just fine.

Switch deprecated BROKER_HOST to new BROKER_URL

People will need to switch that setting in their mediagoblin.ini too.
Make sure we RELEASE NOTE this.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Tweak Celery Task

- Make sure Exceptions are pickleable (not sure if this was not the
  case but this is the pattern as documented in the celery docs.
- Don't create a task_id in the GMG code, but save the one
  implicitely created by celery.
- Don't create a task-id directory per upload. Just store queued uploads
  in a single directory (this is the most controversial change and might
  need discussion!!!)

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

-skip persona test is requests is not installed
- should use request.urlgen for location

media_confirm_delete: redirect to next, then prev, then user home

Instead of redirecting directly to user's home. Makes the flow for mass or just
a few deletions easier. For really large deletions it would still make sense to
have a dedicated view, but this is still way better then losing context by
jumping back to the home view.

Signed-off-by: Alon Levy <alon@pobox.com>

make sure size is a tuple

Keep the best quality file if there's no original

for some reason, the minimum thumbnail size for videos is 100 x 100

refactor get_orig_filename to return an acceptable filename to the processor.

If there is an original video file and we skip transcoding, delete the webm_640 file

make medium dimensions a tuple

check medium_size arg in skip_transcoding, not config

only try and delete queue file if it exists

use thumb_size

include a thumb_size string with each Resizer to run gmg reprocess thumbs

typos

add quality and filter args to image processors

forgot to add the ascii resizer to the list of processors

catch processing exceptions and if entry_orig_state is processed, then ignore the exception

raise an error if the file failed to copy to public storage

catch copy_local_to_storage errors and raise PublicStoreFail, saving the keyname

force thumbnail creation of audio

size should be a tuple

rewind the file to the begining

-scale-to only takes 1 size, so choose the smallest

include '.png' in filename

oops, localized_file not local_file

use a tmp_pdf filename

don't include the '.' in the ext

forgot to change __init__ for new processing managers

Cleanup image common processor

added resizer for stl media

Added initial stl processor

add reprocess_manager to __init__

Use workbench for temp files, refactor _set_pdf_filename, and correct imports

added pdf Resizer

Added pdf Initial processor

added file argument to video resizer and added ascii resizer

Added initial processor for ascii media

added video transcoder

Added thumbnail resizer for video

use type=float for audio vorbis quality

Added Initial processor for video

added audio reprocessing transcoder

just use the default quality when creating a thumbnail or spectrogram

add audio thumbnail and spectrogram resizer

fetch spectrogram for thumbnail creation, create spectrogram if not found

forgot nargs=2

audio processing code cleanup

should store file as webm_audio instead of medium

media:thumb not medium:thumb :)

use name_builder with store_public, not create_pub_filepath

common_setup() must be the first processing step

Audio Initial Processor

remove old code

bulk_run reprocessing complete

Resize all processed thumbs

wrap get_entry_and_processing_manager in try, except block

run initial processing on all failed entries

add bulk_run, thumbs, and initial sub_commands

remove ProcessingState

delete existing file in store_public

Add image resizer and some cleanup of old code

Fix (by Rodney Ewing) for processing, specifically the way resize_tool was being called

Thanks for fixing, Rodney :)

Don't forget to run copy_original()!  That's critical!

This commit sponsored by Tony Schmidt.  Thank you!

Fixing ./bin/gmg reprocess available, which I broke :)

Trying to fix the bug that's happening to rodney757 but not to me ;)

Revert "use parser.parse_known_args() instead of parser.parse_args()"

This reverts commit 029e779c468ba1a6bfd893679cfaae7f418f45dd.
(and a bit more!)

This wasn't needed anymore because we did a "rest" capture and passed
that over to the reprocess run command.

Conflicts:
mediagoblin/gmg_commands/assetlink.py
mediagoblin/gmg_commands/dbupdate.py
mediagoblin/gmg_commands/import_export.py
mediagoblin/gmg_commands/users.py

Fixing normal submission of media (well for images anyway)

A couple of fixes to stupid things I did while coding this.  And it WORKS!

This commit sponsored by José María Serralde Ruiz.  Thank you!

Fixing the MediaProcessor context manager so it actually, you know, works :)

This commit sponsored by Mikiya Okuno.  Thank you!

Theoretically the last steps to get reprocessing working for initial & images

Haven't tested it yet though :)

This commit sponsored by Samuel Bächler.  Thank you!

Factored the get_orig_filename from processing state and put it to use.

This commit sponsored by Vincent Demeester.  Thank you!

Record the original state of the media entry in the processor

This allows our processor to make some informed decisions based on the
state by still having access to the original state.

This commit sponsored by William Rico.  Thank you!

Marking the initial steps for processing

Renaming the processing manager stuff to be less ambiguous.

BONUS COMMIT to Ben Finney and the Free Software Melbourne crew. :)

IRONY: Initially I committed this as "media manager".

That manager.process() line no longer made sense

Updating to the point where we can allllmost run with the new reprocessing code

This commit sponsored by Odin Hørthe Omdal.  Thank you!

Should be enough to get to the point where you can actually initialize a processing command now.

However, it doesn't celery task-ify it...

This commit sponsored by Catalin Cosovanu.  Thank you!

Steps toward working "run" reprocessing command.

This commit sponsored by Philippe Casteleyn.  Thank you!

Moving celery setup to the right place

This commit sponsored by Jose Manuel Zueco Lazaro.  Thank you!

Whitespacin' it up.

`gmg reprocess available --action-help` now tells you processor arguments!

Every reprocessing action possible can inform you of its command line
argument stuff!  Is that awesome or what?

"initial" reprocessing subcommand now works!

We are on our way now to a working reprocessing system under this
redesign!

This commit sponsored by Bjarni Rúnar Einarsson.  Thank you!

More progress towards the new reprocessing infrastructure: args updating

This commit sponsored by Elizabeth Webber.  Thanks, sis!

More steps towards a working reprocessing system.

Fleshing out the base classes and setting up some docstrings.  Not
everything is totally clear yet, but I think it's on a good track, and
getting clearer.

This commit sponsored by Ben Finney, on behalf of Free Software Melbourne.
Thank you all!

Documentation for the MediaProcessor

started coding basics of new processing code