Add hash checks to downloaded source files

* we had one in place for redis but nowhere else

Bump ImageMagick and nginx versions

Move openssh-server from the base image to the sshd template

Prevent unused packages from being pulled into the base image

* e.g. X11 libraries, mysql libraries, mailutils, NTLM libraries

FEATURE: Give option to publish log file publicly (#459)

FEATURE: Don't use fully qualified path for bash in host (#458)

Unfreeze Gemfile in import templates

Co-authored-by: Jay Pfaffman <pfaffman@gmail.com>

DEV: Bump baseimage

This includes updated dependencies required for the codereview plugin and
additional fixes

Add cmake as a base dependency

Early hostname check (#456)

* Move hostname check to earlier in the process

* Provide instruction on hostname check failure

* Fix instruction in case of hostname failure

Update README.md (#455)

Fix indentation at L56

Bump base image

FEATURE: Default to HTTPS

update mail-receiver version

Try to force certificate issuance on second try

Change check for linux memory (#452)

* Change check for linux memory

Some VMs clock in at *just under* 1GB, so checking for 1GB of RAM will miss these.  Instead, check for MB, divide by 1000 and round up.

* Refine the check_linux_memory function

Be a little more precise and only make an exception for VMs with >= 990MB RAM

Make port check optional, add y/n prompt (#448)

Bump base image to update uglifyJS to v3

DEV: Bump uglifyjs

We now support uglifyjs version 3 in Discourse core, no need to hold back the upgrade.

SECURITY: base image updates

- Ruby upgraded from 2.6.4 -> 2.6.5 to address CVEs
- Image Magick from 7.0.8-61 -> 66
- NGINX 1.17.3 -> 4 (bug fixes only)

Check that redis archive matches hash (#450)

Redis is downloaded without TLS

Update MySQL privileges when starting phpBB3 import

MySQL isn't running in the init script yet, so updating the privileges doesn't work. Duh!

Follow-up to 3df237a6

Make phpBB3 import template work with latest image (#449)

FIX: Pass through stdout when running interactively

Follow up to commit 70aaf45.

FIX: Never prune Docker volumes

`system prune` on older Docker releases will remove volumes.  The
accidental removal of container volumes may result in user data loss.

This patch should ensure that any users on Docker CE <17.06.1 benefit
from the same, safer behaviour enjoyed by users on contemporary Docker
releases.

FIX: Install mariadb lib instead of mysql

Correctly install ECDSA certificate

Follow-up to f6ec21851dcf417c13333179a0f933d1dcc3faa1

FEATURE: Elliptic Curve certificate (#444)

[Mozilla](https://wiki.mozilla.org/Security/Server_Side_TLS) recommends (P-256) as certificate type for intermediate compatibility.

> ECDSA certificates are recommended over RSA certificates, as they allow the use of ECDHE with Windows 7 clients using Internet Explorer 11

Most modern browsers will use cipher suites with the ECDSA certificate. Older browsers will select the RSA certificate and a RSA cipher suite.

Bump base image

FIX: Backup Restore was broken because rsync was missing

Make sshd compatible with Debian image

Bump base image

Update ruby to 2.6.4

FEATURE: launcher suggests discourse-doctor on fail

Add commented sections to enable incoming TLS

Use Let's Encrypt certs from app to enable incoming TLS for mail-receiver.

fallocate swapfile instead of dd

spacing

FEATURE: discourse-doctor restart existing container if possible

Update SSL config using Mozilla SSL Intermediate config

Update dependencies

Remove nginx modules from the package manager

On Debian rsyslog is running under root

Revert "Revert "First pass in moving to debian""

This reverts commit 29204e415846c121554d41c34f241f2291e7a587.

Revert "First pass in moving to debian"

This reverts commit 223b69e775c61a7fb05386262281f7fa2f0e9520.

First pass in moving to debian

Update nginx for HTTP2 related CVEs

Make merge_user_args idempotent (#438)

The `merge_user_args` function may be called more than once within a
single `launcher` process.  e.g.: on `launcher rebuild ...`:

```
[main] -> rebuild -> run_bootstrap -> set_template_info -> merge_user_args
[main] -> rebuild -> run_start     -> set_template_info -> merge_user_args
```

If the user had included a `docker_args` map key in their container
YAML, the `user_args` global would be incorrectly populated with
duplicate docker CLI flags.

https://meta.discourse.org/t/-/123696

Fixes a regression introduced in https://meta.discourse.org/t/-/49401/9

remove unrelated comment

SSH was long ago moved into a different template

Bump base image

Update ImageMagick

FIX: Make storage detection compatible with docker 19.x

DEV: bump dependencies

- new ImageMagick
- new NGINX moved to stable from mailine
- new Redis
- new PNG Quant
- updated libjemalloc

Repo key should be downloaded securely (#432)

Include official plugins and install their gems in discourse_test (#431)

FIX: we cannot prompt for user input if we have no tty

Update to `discourse/base:2.0.20190505-2322`.

Old base images carry test gems in the production env.

COPY: remove unsupported storage drivers from warning message

FIX: Correctly match when protocol-less CDN is used

remove btrfs and overlay from "safe" storage drivers

Update bash path (#430)

Call the default bash for the environment.

Update base image

It updates Ruby, nginx, ImageMagick, libpng, gifsicle and Node.js

Set the right RAILS_ENV for other base images.

Follow up to c2c7a3d8f3aad26b0b1aea30eb5bf475d910ebc2.

Set RAILS_ENV for base image.

We can't boot the Rails app if it tries to require development
dependencies.

FIX: Don't install test gems in production.

This fixes an incorrect usage of the `--without` option.
As per the documentation, it takes groups seperated by a space `--without=GROUP[ GROUP...]`. Specifying the option twice meant we were overriding the first which lead the this bug.

Update dependencies (#429)

* Ruby 2.6.3 which has a couple of Unicode improvements

* nginx from 1.5.9 to 1.5.12 (http://nginx.org/en/CHANGES)

* ImageMagick 7.0.8-42 and switch it back to using GitHub, because only the latest release is available on the official site and this regularly breaks our build

* libpng from 1.6.36 to 1.6.37 (security fix)

* gifsicle from 1.91 to 1.92 (http://www.lcdf.org/gifsicle/changes.html)

* Node.js v10, the latest active LTS (https://nodejs.org/en/about/releases/)

Use HEAD instead of @ shortcut for git in launcher (#428)

The abbreviation @ for HEAD was added in git 1.8.5. The launcher claims to be compatible with git version 1.8.0 but the use of this abbreviation breaks this compatibility. This change is needed to support RHEL 7.6 which has only git 1.8.3.1.

Update imagemagick to 7.0.8-41.

Run `bundle install` with 4 jobs.

Bump patch for imagemagick again.

FEATURE: brotli support is not conditional

Due to changes in the core (backported to stable) all brotli support
is unconditional.

No need to carry any special logic here.

Bump imagemagick to 7.0.8-39.

FIX: no longer allow protocol-less CDN

DISCOURSE_CDN_URL starting with `//` can lead to problems. Avoid allowing
people to enter it.

Add missing lines due to bad commit in 40fd876d1edb1a376a4eb592c9de4a178352a760.

Set `force_https` to true when Let's Encrypt cert checks out OK.

Bump acme.sh to 2.8.0 (#425)

Bump script for more API options, ACME v2 wildcard certs and bug fixes

Update imagemagick patch version.

Update base image to Ruby 2.6.2 based image

Following extensive internal testing it is time to update our common base
image to 2.6.2 based one.

This also update various libraries, nginx and so on.

Remove chromedriver; import script installs latest version

Pull ImageMagick and libpng from official site

previously we were taking stuff from GitHub which is often out-of-date

oops, 1.6.37 is not tagged yet use 36

Update dependencies

Including minor upgrades for redis,ruby,image magick, libpng

One notable thing here is that I removed the SHA check from redis

I am not against checking SHA but we need to explode if it fails and do
something far more consistent across our various downloads

FEATURE: add missing hooks into web.yml template

Previously bundle+migrate+precompile were in 1 big chunk making it
impossible to add multisite:migrate cleanly.

This adds 2 more hooks db_migrate and assets_precompile which make it way
simple to inject multisite migrate (either before or after db_migrate)

FEATURE: add start-cmd to provide the command line used to launch container

This feature is only part done, this is a work in progress.

Sometimes it is handy to get the full docker command used to launch
a container, this allows us to cleanly amend it prior to starting.

This works like so:

```
sam@arch discourse_docker % ./launcher start-cmd redis
+ true run --shm-size=512m -d --restart=always -e LANG=en_US.UTF-8 -e 'test=I am a test' -h arch-redis -e DOCKER_HOST_IP=172.17.0.1 --name redis -t -p 63799:6379 --expose 33333 -v /home/sam/Source/discourse_docker/shared:/shared --mac-address 02:3e:e9:30:d5:32 local_discourse/redis /sbin/boot
```

Though we really want it to output `docker` instead of `+ true`.

It is tricky in bash cause we handle quoting of `-e` and so on which makes
a straight echo not work as expected.

That said this kludge does give me enough to actually run some tests so
I welcome the progress

Created this so I can run side-by-side tests on various containers

DEV: clean up docker detection

previously we would output stuff to console if docker.io was missing

Add a way to expose a port without publishing

Use the existing "expose" section of container yaml files, which has always been publishing ports.
Expose a port if a single port number is specified (`80`).
Publish if a port mapping is specified (`"80:80"`, `"127.0.0.1:20080:80"`).

Add sidekiq.log to web template

FEATURE: disable protected mode in redis

We do not require protected mode in redis cause it runs in a container
and is default protected.

Protected mode breaks running our template in a multi container setup or
certain users exposting redis from the container if they wish

Update CDN URL in samples to have a protocol

* authored by Bhanu, reworded slightly by supermathie

boot: if container initialization steps fail, exit

fix: ampersand with no quotes truncates echo output (#421)

Update image dependencies

- Update NGINX to latest stable
- Update pngquant to latest stable
- Update ImageMagick to latest stable

Also, remove extra ruby install, it is no longer needed

FEATURE: update base image to Ruby 2.6.1

Due to https://meta.discourse.org/t/logster-2-1-0-causes-segfault-running-unicorn-in-discourse-dev-docker-image/109265
we are stuck upgrading base image.

https://github.com/github/ruby/pull/40 by @tenderlove is backported to 2.5
but we are still waiting on 2.5.4

To avoid a custom patch in our image I opted to move base to 2.6.1 and pick
up the fix direct from 2.6

Update docker base image

This covers quite a few important change

1. We updated maxmind db
2. We upgraded redis to version 5
3. It forces a rebuild for important nginx changes
4. It updates all gems, a ton got updated, this speeds up rebuild

Redis is configured without pidfile.

Remove Redis service from base.

chmod a+x ./redis

merge docker_args with user_args for launcher file

DEV: cleanup docker prune pattern

- When out of space don't prompt a second time to cleanup
- Remove docker gc script which is unused
- Use system prune -a consistently

FEATURE: swap to using "docker system prune"

Stop using `docker gc` by spotify for image cleanup, instead use:
`docker system prune`

The new method is maintained by docker, old mechanism is no longer really
needed

Eschew the rsyslogd PID file

This PID file is not required, provides questionable operational value,
and can break logging in a Discourse application container.

On startup, rsyslogd will read `rsyslogd.pid` and self-terminate if it
finds another process on the system with the same PID as that which was
written to this file.  This behaviour is especially problematic when
running in a containerised environment:

- The processes that make up a container are more likely to be
  terminated without grace.  Any PID files persisted to the container's
  filesystem will become stale after an unclean shutdown.  (Separately,
  even when signalled with `SIGTERM` on graceful shutdown, rsyslogd will
  still fail to unlink this file.)

- PIDs on Linux are assigned sequentially.  When run in a unique `pid`
  namespace, a container's process table is subject to little entropy.
  Thus, PID 'collisions' across container instantiations are not
  unlikely.

Altogether, it is easy for rsyslogd to DoS itself on startup by
mistaking another process in the container (e.g.: nginx) for an existent
rsyslogd process.  Unlinking this file guarantees a clean startup.

Newer releases of rsyslog support `-iNONE`, but -- of course -- this
feature is not supported in the rsyslog distribution included as part of
Ubuntu 16.04:

https://github.com/rsyslog/rsyslog/blob/527f19c56a80fd30354f32ad03bdacc1275f4aa8/ChangeLog#L1618-L1623

Vixie crond and nginx also employ PID files, though neither is
vulnerable to this failure mode.  Vixie cron wraps the fd with a flock;
the flock is used for mutual exclusion, not the underlying file itself.
nginx does not appear to use its PID file for mutual exclusion.