remove btrfs and overlay from "safe" storage drivers

Update bash path (#430)

Call the default bash for the environment.

Update base image

It updates Ruby, nginx, ImageMagick, libpng, gifsicle and Node.js

Set the right RAILS_ENV for other base images.

Follow up to c2c7a3d8f3aad26b0b1aea30eb5bf475d910ebc2.

Set RAILS_ENV for base image.

We can't boot the Rails app if it tries to require development
dependencies.

FIX: Don't install test gems in production.

This fixes an incorrect usage of the `--without` option.
As per the documentation, it takes groups seperated by a space `--without=GROUP[ GROUP...]`. Specifying the option twice meant we were overriding the first which lead the this bug.

Update dependencies (#429)

* Ruby 2.6.3 which has a couple of Unicode improvements

* nginx from 1.5.9 to 1.5.12 (http://nginx.org/en/CHANGES)

* ImageMagick 7.0.8-42 and switch it back to using GitHub, because only the latest release is available on the official site and this regularly breaks our build

* libpng from 1.6.36 to 1.6.37 (security fix)

* gifsicle from 1.91 to 1.92 (http://www.lcdf.org/gifsicle/changes.html)

* Node.js v10, the latest active LTS (https://nodejs.org/en/about/releases/)

Use HEAD instead of @ shortcut for git in launcher (#428)

The abbreviation @ for HEAD was added in git 1.8.5. The launcher claims to be compatible with git version 1.8.0 but the use of this abbreviation breaks this compatibility. This change is needed to support RHEL 7.6 which has only git 1.8.3.1.

Update imagemagick to 7.0.8-41.

Run `bundle install` with 4 jobs.

Bump patch for imagemagick again.

FEATURE: brotli support is not conditional

Due to changes in the core (backported to stable) all brotli support
is unconditional.

No need to carry any special logic here.

Bump imagemagick to 7.0.8-39.

FIX: no longer allow protocol-less CDN

DISCOURSE_CDN_URL starting with `//` can lead to problems. Avoid allowing
people to enter it.

Add missing lines due to bad commit in 40fd876d1edb1a376a4eb592c9de4a178352a760.

Set `force_https` to true when Let's Encrypt cert checks out OK.

Bump acme.sh to 2.8.0 (#425)

Bump script for more API options, ACME v2 wildcard certs and bug fixes

Update imagemagick patch version.

Update base image to Ruby 2.6.2 based image

Following extensive internal testing it is time to update our common base
image to 2.6.2 based one.

This also update various libraries, nginx and so on.

Remove chromedriver; import script installs latest version

Pull ImageMagick and libpng from official site

previously we were taking stuff from GitHub which is often out-of-date

oops, 1.6.37 is not tagged yet use 36

Update dependencies

Including minor upgrades for redis,ruby,image magick, libpng

One notable thing here is that I removed the SHA check from redis

I am not against checking SHA but we need to explode if it fails and do
something far more consistent across our various downloads

FEATURE: add missing hooks into web.yml template

Previously bundle+migrate+precompile were in 1 big chunk making it
impossible to add multisite:migrate cleanly.

This adds 2 more hooks db_migrate and assets_precompile which make it way
simple to inject multisite migrate (either before or after db_migrate)

FEATURE: add start-cmd to provide the command line used to launch container

This feature is only part done, this is a work in progress.

Sometimes it is handy to get the full docker command used to launch
a container, this allows us to cleanly amend it prior to starting.

This works like so:

```
sam@arch discourse_docker % ./launcher start-cmd redis
+ true run --shm-size=512m -d --restart=always -e LANG=en_US.UTF-8 -e 'test=I am a test' -h arch-redis -e DOCKER_HOST_IP=172.17.0.1 --name redis -t -p 63799:6379 --expose 33333 -v /home/sam/Source/discourse_docker/shared:/shared --mac-address 02:3e:e9:30:d5:32 local_discourse/redis /sbin/boot
```

Though we really want it to output `docker` instead of `+ true`.

It is tricky in bash cause we handle quoting of `-e` and so on which makes
a straight echo not work as expected.

That said this kludge does give me enough to actually run some tests so
I welcome the progress

Created this so I can run side-by-side tests on various containers

DEV: clean up docker detection

previously we would output stuff to console if docker.io was missing

Add a way to expose a port without publishing

Use the existing "expose" section of container yaml files, which has always been publishing ports.
Expose a port if a single port number is specified (`80`).
Publish if a port mapping is specified (`"80:80"`, `"127.0.0.1:20080:80"`).

Add sidekiq.log to web template

FEATURE: disable protected mode in redis

We do not require protected mode in redis cause it runs in a container
and is default protected.

Protected mode breaks running our template in a multi container setup or
certain users exposting redis from the container if they wish

Update CDN URL in samples to have a protocol

* authored by Bhanu, reworded slightly by supermathie

boot: if container initialization steps fail, exit

fix: ampersand with no quotes truncates echo output (#421)

Update image dependencies

- Update NGINX to latest stable
- Update pngquant to latest stable
- Update ImageMagick to latest stable

Also, remove extra ruby install, it is no longer needed

FEATURE: update base image to Ruby 2.6.1

Due to https://meta.discourse.org/t/logster-2-1-0-causes-segfault-running-unicorn-in-discourse-dev-docker-image/109265
we are stuck upgrading base image.

https://github.com/github/ruby/pull/40 by @tenderlove is backported to 2.5
but we are still waiting on 2.5.4

To avoid a custom patch in our image I opted to move base to 2.6.1 and pick
up the fix direct from 2.6

Update docker base image

This covers quite a few important change

1. We updated maxmind db
2. We upgraded redis to version 5
3. It forces a rebuild for important nginx changes
4. It updates all gems, a ton got updated, this speeds up rebuild

Redis is configured without pidfile.

Remove Redis service from base.

chmod a+x ./redis

merge docker_args with user_args for launcher file

DEV: cleanup docker prune pattern

- When out of space don't prompt a second time to cleanup
- Remove docker gc script which is unused
- Use system prune -a consistently

FEATURE: swap to using "docker system prune"

Stop using `docker gc` by spotify for image cleanup, instead use:
`docker system prune`

The new method is maintained by docker, old mechanism is no longer really
needed

Eschew the rsyslogd PID file

This PID file is not required, provides questionable operational value,
and can break logging in a Discourse application container.

On startup, rsyslogd will read `rsyslogd.pid` and self-terminate if it
finds another process on the system with the same PID as that which was
written to this file.  This behaviour is especially problematic when
running in a containerised environment:

- The processes that make up a container are more likely to be
  terminated without grace.  Any PID files persisted to the container's
  filesystem will become stale after an unclean shutdown.  (Separately,
  even when signalled with `SIGTERM` on graceful shutdown, rsyslogd will
  still fail to unlink this file.)

- PIDs on Linux are assigned sequentially.  When run in a unique `pid`
  namespace, a container's process table is subject to little entropy.
  Thus, PID 'collisions' across container instantiations are not
  unlikely.

Altogether, it is easy for rsyslogd to DoS itself on startup by
mistaking another process in the container (e.g.: nginx) for an existent
rsyslogd process.  Unlinking this file guarantees a clean startup.

Newer releases of rsyslog support `-iNONE`, but -- of course -- this
feature is not supported in the rsyslog distribution included as part of
Ubuntu 16.04:

https://github.com/rsyslog/rsyslog/blob/527f19c56a80fd30354f32ad03bdacc1275f4aa8/ChangeLog#L1618-L1623

Vixie crond and nginx also employ PID files, though neither is
vulnerable to this failure mode.  Vixie cron wraps the fd with a flock;
the flock is used for mutual exclusion, not the underlying file itself.
nginx does not appear to use its PID file for mutual exclusion.

support expose in templates

Build Redis from source. (#417)

Configure Git for `discourse` user

Configure Git in test image (#418)

Fix extra spaces appearing in ENV.

7a092241d1ee2b515a652ad71a134162a6f05cde

Fix bug introduced in faaa8c17ca08d22563ab0153b7f964d937f269bf.

FEATURE: Support `{{config}}` replacement to template name in `env`.

Fix regression due to f80e6a37a9d748f43047141b18986f6386444bc9.

FIX: Print usage when config is not passed to launcher.

Upgrade node to v10 for test and dev

This fixes the following error during image build:

sane@4.0.2: The engine "node" is incompatible with this module. Expected version "6.* || 8.* || >= 10.*". Got "9.11.2"

Launcher script breaks at high numbers of sites (#414)

On a multi-site app configuration files such as containers/web.yml
grow with the number of sites. We discovered that the launcher script breaks
at around 100 sites due to "Argument List too long" when
commands such 'echo' are being referenced from the within the exec
call.

This workaround echoes the "$input" content outside the exec (which we verified
works fine for 300 sites) and then cats the file content inside the
exec. Thus bypassing the argument limitation. Finally, we remove the temporary file generated.

Add missing license file

License type was listed in README, but no license file was present

Make our swap config compatible with systemd >= 207 (#331)

FEATURE: added template for critical DNS caching

Support `--run-image` option for launcher.

Rename template for consistency

bump launcher for IP address lookups

Add template for including Chrome and ChromeDriver

Improve template for mbox imports

* Do not prevent sidekiq from running
* mbox import script has been renamed

correct template to insert policy at the right spot

revert update for now as it breaks our test suite

tweaks required to get this to build... ruby now needs ruby to install ruby

bump version of image magick / libpng

Upgrade Ruby to Version 2.5.2

(security patches are included in 2.5.2)

Bump `discourse/base` docker image.

Includes the new maxmind db rake task to resolve location based on IP.

Revert "Revert f4973e9280e2604a426767e9eca4f698e0cad5b3 since we can't use Rails at this point"

This reverts commit a0586b4a13704e5257ca294a7b6d83024cddf839.
(master is now fixed to allow this rake task)

Revert f4973e9280e2604a426767e9eca4f698e0cad5b3 since we can't use Rails at this point

Merge pull request #410 from nbianca/maxminddb

Run Rake task to fetch MaxMindDb.

Move tmp directories for backups and restores into /shared (#411)

Large temporary files shouldn't be stored inside of the Docker container.

Run Rake task to fetch MaxMindDb.

Use rm -rf in remove-old-socket (#409)

In some cases, the leftover socket is actually a directory.

Make `./launcher run` use the run image instead.

`./launhcer run` should exit with the right code.

Can't use `--login` because bash profile hasn't been created.

This reverts commit 4535fb546081817f0a2ffdd9cc587191b46e4a5f.

Run command in Discourse's dir by default.

FEATURE: Add `./launcher run` command.

This is useful for running custom commands
with the config for a given template.

Merge pull request #397 from pfaffman/patch-1

.gitignore show some love for emacs

Remove prettier from the base image.

This should be installed by yarn.

rubygems still use .org (#407)

`ruby-china` gems mirror changed to `.com` due to ICP Filing complications
The original rubygems source still uses .org, though

ruby-china change domain (#406)

Speed up mass-chown

Merge pull request #404 from camilleroux/patch-1

Typo fix

Typo fix

Remove old build script

Update image docs

update web template to check for thpoff

FEATURE: disable huge pages in PG, web and redis

FEATURE: ability to turn off transparent huge pages on arbitrary programs

Revert "Add libicu-dev for charlock_holmes gem"

This reverts commit 2ad56e6b097b80833695ef644574fd2e511338ed.

Add tcmalloc as an optional allocator

fixes prettier version at 1.14.0

Make launcher work with french locale (among others) (#395)

On several locales others than C, A-Z might match more than A to Z, due
to different collation order.

See https://unix.stackexchange.com/questions/227070/why-does-a-z-match-lowercase-letters-in-bash
for explanation.

Improved Let's Encrypt email argument (#400)

Add libicu-dev for charlock_holmes gem

Use github archive for ImageMagick instead.

Bump base image for launcher.

Remove replace commands that are no longer required in Imagemagick7.

Update imagemagick to ImageMagick7.