batchaddmedia: Simplify the Python 2 & 3 unicode handling.

To avoid issues with quotes, I've replaced the manual CSV handling with
csv.DictReader and simplified the unicode handling down to a single line. I
don't believe any special encoding is required when writing to the database.

This has been tested by importing a CSV with braille characters on Python 3 and
Python 2.

Remove unicode literals in batchaddmedia.

Fix URL-based importing with batchaddmedia command.

The command was raising "io.UnsupportedOperation: seek" for URL-based imports
and didn't support HTTPS.

Fix bulkupload documentation example.

The `bulkupload` command expects "dc:title", rather than "dcterms:title".
Similar for description.

Note issues uploading H264 video under Guix.

Provide an update_extlib.sh alternative for Guix.

Update guix-env.scm for use with current version of Guix.

require higher version of six due to installation problems

Fix saving original of the video

Original of the video was not saved because info about it was not
written to the database. Fixed that.

Also removed original video from get_all_media listing. The method is
weird, we should evaluate whether it is video-specific and how to
generalize it.

simplify an if and fix string formatting

nitpicking

close tag in subtitles html

move subtitles out of media streams in html

Merge branch 'transcoding_progress'

This probably broke stuff

Fixes for small bugs

There were some blocking issues in the code. They are small, but break
tests and/or production. Fixed some of them.

always guess the same filetype

finally fix url validator

Revert "Revert "Import messages in blog views""

This reverts commit 8c36ec5246828e3c99d956edd8524f3ade430571.

fix typo

fix auth error and simplify url and email checks

remove requirement for the file to be with single dot in name

fix default gmg help message

Merge remote-tracking branch 'gsoc2016/Subtitle-1'

Fix server crash on blog about page [#5572]

Don't bother checking for user's blog if no user returned.

2 bug fixes in editor views

* `WTForms` instances get `__init__`-ed with `defaults` as `kwargs`.
  The first arg is a `request.form` (which is what one must supply if
  this is a `POST` and must *not* supply otherwise).
  The content of that form (empty on `GET`) has higher priority than
  the defaults (which makes the user get an empty form).

* Fix `edit_profile()` to allow changing `location` from a non-blank
  value to blank (i.e. removing the location).

(cherry picked from commit 75f3e23b92392b9bd309fab4c1a52fd38d453627)

Revert "cap sqlalchemy"

This reverts commit d803f14361ec02878afe4f6b196ce917010a1e2f.
WTForms 2.2 was releases, see
https://issues.mediagoblin.org/ticket/5570#comment:6

Add Creative Commons 4.0 licenses [#955]

Add CC version 4.0 licenses to SORTED_LICENSES.

cap sqlalchemy

Closes #5557 and fixes some complaints in irc

Add moderation panel thumbnail header [#5563]

Add moderation panel column header for thumbnail column.

Process videos with incorrect date tags [#5409]

Video processing expects datetime tags in a specific format. This
commit allows videos with missing or incorrect datetime tags to be
processed with no datetime tags instead of failing.

Prevent video plugin from processing svg [#934]

Prior to the gstreamer-1.0 upgrade, the video processing engine included
a check for excluded extensions which gstreamer might accept despite us
not wanting to process them. In commit 91f5f5e, the check against
EXCLUDED_EXT was removed. Since then, the video plugin has accepted and
attempted to process svg files.

This commit adds the check against EXCLUDED_EXTS into the sniff_handler
function so that we can bail out on certain file extensions before the
plugins tries to sniff the file type. The previous implementation
excluded nef files, which appears to be a Nikon camera image. I've
copied that forward to this code. I've also added a log message to
indicate that we're purposefully refusing to process the file.

Remove backup file added in b5dd245

Use https:// instead of git:// to clone [#5551]

This was partially addressed in eee3e41 but missed many items.

Add chrysn to AUTHORS

Fix EXIF rotation to make the image portrait on demand

Closes: https://issues.mediagoblin.org/ticket/5525
Signed-off-by: Andrew Browning <ayleph@thisshitistemp.com>

add alembic migrations to MANIFEST

Alembic migrations do not get imported anywhere. Because of it
they do not get included to the python package. But they need to
be there in order for migrations to succeed.

move alembic.ini to python app dir

add alembic.ini to MANISFEST.in

remove mentions of mediagoblin_local.ini

clarify installation instructions about mediagoblin.ini

Added tests for tags in image API object

Added tags in API (view them and edit them)

Improved gitignores for patch submitting

In order to ease the patch submitting process, *.patch was added as per
Linux kernel's .gitignore. Test cache directory was also added in its
own gitignore (as per kernel's recommendation on .gitignore location).

Fixed flake8 errors for tests/test_api.py

Since I am adding a test I also took time to fix all flake8 errors in
this test file, since I may add more tests in there and I prefer to work
on a coherent code base.

Added tests for custom file name using API

This adds a new test and verify that the old test has the
"unknown.<extension>" format. As funny as it seems, the "image/jpeg"
Content-Type will generate a ".jpe" extension but I was expecting a more
common ".jpg" extension. This may be a bug, but this is not the subject
of this patch.

Change API filename upload using custom header

When uploading a file using the API its same is always going to be
'unknown.<extension>', which is not good looking for file urls. This
patch proposes a custom header named 'X-File-Name' that allows to
specify a file name using an API client.

This changeset was tested with a local OAuth1 client.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

add Roman to AUTHORS

Replaced /bin/celeryd by /bin/celery in lazycelery

On a fresh clone the celeryd executable is not present. This is because
of the celery version migration to celery 4.x. As per celery's
documentation at http://docs.celeryproject.org/en/latest/whatsnew-4.0.html,
celeryd is no longer shipped in this version.

Fix location of host-meta.xml file [#5543]

Fix trivial spelling error in test comment

Port batchaddmedia command to Python 3

Make admin panel headers readable in Airy theme

The admin panel headers are white by default, making them almost
unreadable on the light background used in the Airy theme. Make the
headers dark, like text elsewhere in the theme.

Handle collection in batchaddmedia command

Make the batchaddmedia command look for a 'collection-slug' column, that
for each row may specify the slug of a collection that the media should
be added to. This matches the '--collection-slug' argument of the
addmedia command.

Support Unicode characters in configuration values

Prior to this commit, using a Unicode character in a configuration
string would result in a `UnicodeDecodeError` being raised. Supporting
Unicode characters is especially useful in user-facing configuration
strings, such as `html_title`.

Remove dead code in batchaddmedia.py

Remove an unused import and an unused local variable from
batchaddmedia.py.

Update batchaddmedia csv description docs [5458]

Commit c0ea2bad changed the expected location column header of csv files
used by the batchaddmedia command from 'media:location' to 'location'.
This change updates the docs to match.

Fix #5460 - Log IP address for failed login

This patch logs the remote address when a login attempt fails.

Fix #5517 - Change docs to clone repo using https

Add unit test for #5524

Add a unit test to verify that the change introduced in 07c535c no
longer resulst in a zero divide error when gps data contains no divisor.

This commit includes a test image created by Andrew Browning. Andrew
Browning dedicates this image to the public domain under the CC0 license.

Fix #5524 Zero division error in exif.py

This patch implements the safe_gps_ratio_divide function for gps
direction and altitude values to prevent a zero divide error on
malformed GPS data.

Merge branch 'multiple-qualities-frontend' into 'transcoding_progress'

Minor changes

See merge request !3

Change complimentary_task to complementary_tas

Closes #11

Remove self.entry in VideoTranscoder

Show default resolution progress in processing panel

Add main_transcoding_progress to ProgressCallback

Add main_transcoding_progress column migration

This field is required to store the progress of the default
resolution of the media. So, we now store the total progress of transcoding
the video in 'transcoding_progress' and progress of transcoding the default
resolution in 'main_transcoding_progress'.

Add videojs-resolution-switcher to gitignore

Create a seperate test for get_all_media

Add test for get_all_media()

Check for it's returned values.

Fix #5514 - Add to Collection causes server error

Re-arrange code to check whether a collection has been selected prior
to checking whether an item already exists in the selected collection.
This fixes a regression introduced in 0f3bf8d.

Properly escape asterisk in *buntu

Fix #5513 - Can't delete blog post drafts

Modify the @get_media_entry_by_id decorator to return media regardless
of processing state. Separately modify all view functions that use the
@get_media_entry_by_id decorator to require that the media be in the
processed state, other than for the media_confirm_delete view. This
allows blog post drafts to be deleted without returning a 404. Further,
it adds the ability to delete unprocessed media in the future, which
would be a nice addition to the user processing panel.

Change webm to webm_video in media_size check

Closes #8

Merge branch 'master' into 'multiple-qualities-frontend'

Add multiple video qualities feature

See merge request !2

Small changes to fixing transcode percentage

Related to #6

Change entry.title to entry.id in logging

Related to #5

Fix percentage reporting

Report transcoding_progress as the overall percent of all resolutions.
Modify Logging.

Closes #6

Add unicode to accomodate title of MediaEntry

Related to #5

Replace print statements to logging

Closes #5

Add previous mg css to video player

Modify video.html to add video-resolution-switcher plugin

Add change-video-resolution.js to start video-resolution-switcher plugin

Add video-resolution-switcher (video.js plugin) v0.4.2

Change video.js version to v5.20.1

Revert "Modify video template to accomodate multiple resolutions"

This reverts commit f6ba0e561bfb62991d70a4c002edf142d9d7540c.

Revert "Add change-video-resolution.js to start the plugin"

This reverts commit e44c4569c7f7ac4b0b1c8470f38f7f1d09dd00f8.

Revert "Modify video-js link folder and change version"

This reverts commit 0e49df65fea13b15c5566f2ee44842feaeaaccd0.

Revert "Add video-resolution-switcher (v0.4.2) plugin"

This reverts commit 19d7c450706df1aae74003fcfcfa03d17ebd6f54.

Add video-resolution-switcher (v0.4.2) plugin

Modify video-js link folder and change version

Add change-video-resolution.js to start the plugin

Modify video template to accomodate multiple resolutions

Add required JS/CSS plugin files.
Add JS file to fire up the plugin.
Modify video tag accordingly.

Add get_all_media() in MediaEntryMixin

Returns all available qualties of a media with it's dimensions and
resolution label.

Add property to media_fetch_order

Due to configurable resolution settings, this change is necessary to set the
default resolution and the others.

Fix test_accepted_resolutions

Add {'webm': (640, 640)}

Merge branch 'master' of git.sv.gnu.org:/srv/git/mediagoblin

Implement copy_original and _keep_best

_keep_best is changed to keep_best now, and is added in processing_cleanup.
webm is added to ACCEPTED_RESOLUTIONS.

Test whether video is transcoded to all resolutions

After `self.check_normal_upload`, query the database and
check whether the video got transcoded to all the required
resolutions.

Test accepted_files and accepted_resolutions