Make script work on ubuntu and debian

No inline comments in bash

Update ImageMagick build

- Use libpng from package manager
- Update libheif
- Update ImageMagick
- Adds libaom so libheif and IM can deal with AVIF image format

Bump Redis minor version

Bump to NodeJS 14 since NodeJS 10 is EOL this April

Use pngquant from package manager

Use pngcrush from package manager

Remove gifsicle dependency

https://github.com/discourse/discourse/commit/43e52a7dc1d9e610792ff37755d26b1168ecf20d

nginx brotli module bundles libbrotli nowadays

Support maxmind (#512)

* add prompts for maxmind

* can leave key blank

* include message for removing key

* fix maxmind prompts

* cleanup assert_maxmind_license_key

* remove changes to check_port()

* remove trailing whitespace

* do not remove ip match check

* fix  indent for chech_IP_match

* remove all trailing whitespace

Expose SMTP_DOMAIN Global Setting in sample file (#515)

This is useful when using some SMTP providers, like Google Apps

https://meta.discourse.org/t/discourse-smtp-sends-ehlo-localhost-instead-of-domain-breaking-google-smtp-relay/176755/6?u=falco

FEATURE: Add validation to admin email prompt in discourse-setup (#514)

FEATURE: Changed awk config command to be more cross platform (#513)

in Ubuntu 20.04 LTS, pre installed is mawk 1.3.4, which is called when you use awk. In this version, "--field-seperator" is not a valid option, leaving discourse-doctor with many errors.
Described in https://meta.discourse.org/t/discourse-doctor-parsing-smtp-credentials-not-working-admin-registration-email-not-working/174461, this commit aims to use -F as the accepted flag for field separation which is unambiguous across GNU AWK and Ubuntu MAWK.

FEATURE: Bump base image (#511)

Provides new version of ImageMagick

Add maxmind geolocation IP key to web template (#510)

Add maxmind geolocation IP key to web only template (commented out)

Update standalone.yml (#508)

Revert "Add env var for image version (#507)" (#509)

This reverts commit 35806741fe8934367a010e1fcf4de9b483ce038c.

Add env var for image version (#507)

Adds WEBP support in ImageMagick (#506)

FIX: perform bundle install after modifying directory permissions (#504)

Remove `host_run` from `launcher`. (#498)

This is legacy code that we no longer use and support.

Remove git pull (#503)

Revert git command changes (#502)

* Revert "FIX: reset takes the full slash path (#501)"

This reverts commit bf223b05427d432d6ab313eb7740d42caa989c6a.

* Revert "FIX: Run reset and clean after checkout (#500)"

This reverts commit bc380c73eef970e57195159a654edd2b14fb633b.

* Revert "FIX: remove pull for Discourse core (#499)"

This reverts commit 0ab1da11598467b944182748b8e8c6d363093544.

FIX: reset takes the full slash path (#501)

FIX: Run reset and clean after checkout (#500)

shallow fetching and resetting may result in a dirty working tree.
Ensure we have a clean working tree by running the reset and clean after the
fetch.

Previously, we needed the clean and reset before the PULL, to ensure a clean
pull, but since we are using fetch + checkout (which does not result in a
merge if dirty) we might end up with a dirty repo after the checkout, such
as if a clone remote has a different master branch than core.

FIX: remove pull for Discourse core (#499)

We are already shallow-fetching a few lines below. A pull with a shallow
clone can be dangerous if Discourse is using a different repository
or version, as that potentially results in more data being pulled or a
dirty merge with a different upstream.

Remove the pull and rely only on the fetch and checkout.

postgres.10.template: purge postgres-13 rather than 12. (#497)

This purge command was missed and caused issues with the database
starting up correctly in some cases. Postgres-12 is no longer in the
base image so this wouldn't be doing anything.

New image with fix for CVE-2020-1971 (#496)

Fix dev image to work with pg13 (#495)

FIX: prompt to remove old psql data defaults to 'N'

launcher: update base image for postgres 13 update. (#494)

Update base image and default to postgres 13. (#493)

FEATURE: update to PostgreSQL 13.

* postgres.template.yml: update to new major version of 13.

This changes the default postgres version to 13 for the postgres
template.

* images/base: bump postgres to version 13.
* postgres.13.template.yml: add postgres 13 template.
* postgres.12.template: add step to remove pg 13 install.
* launcher: increase timeout allowed for docker stop.

With large databases Postgres may take some time to stop gracefully, so
increase the allowed timeout.

* launcher: use temporary pg13 image while build is running.
Note this will be updated once the image change lands in master.

Bump default base image

Handle the case where IPv6 is also used (#480)

* We want web.ssl.template.yml to handle the IPv6 case as well

FEATURE: Use a shallow clone for Discourse core

This reduces final compressed image size in 25%.

Adding sed statement to disable imklog in rsyslog (#489)

Bump Ruby version to 2.7.2

It is compatible with Discourse and a bit faster than 2.6

We will test this image internally for a few weeks prior to bumping globally.

DOCS: correct syntax error in readme

FEATURE: Run themes:update before assets:precompile (#484)

Upgrade to Redis 6.0.9 (#487)

This unlocks using the new I/O Threads feature of Redis 6.X.

In order to support it the redis template file now accepts a parameter
allowing an operator to enable it and pick how many threads.

By default sets threads to 1, which disables the feature and acts like
redis 5.

TASK: Improve README and YAML Codeblocks. (#486)

Remove additional exit command (#485)

FEATURE: Replace the default ImageMagick policy.xml (#483)

* Replace the default ImageMagick policy.xml

Replace the default ImageMagick policy.xml with a file containing some resource limitiations. The intention is to stop exceptionally oversized images (and/or malformed images) from consuming all resources on a system.

The values provided should provide ample resources for any reasonable image to be processed without hinderance.

Reflect Discourse default of HTTPS (#482)

Discourse installs HTTPS as standard, so mail-receiver should probably reflect this too.

Update base image to cover latest security fixes

Image has been tested on internal Discourse servers and is good

Install libxss1 for the test image, looks like it is needed by Chrome

See also https://github.com/puppeteer/puppeteer/issues/6192

FIX: Always remove pids on boot

Previously if unicorn stopped abruptly we could have a situation where
pids were left around

This could lead to Sidekiq not booting

This will ensure that on boot our state is clean

DEV: Raise an error when env variable is a YAML hash (#479)

This is never intended, and almost always causes unintended behaviour

FIX: discourse-doctor plugin check too loose (#478)

The non-official plugin check was looking only for `git`, which would match other things in the yml file (e.g., a digital ocean S3 bucket name).

`grep` for `'git clone'` should solve that problem.

Though I did test this edit on a running sitee, I made these edit in the web interface by hand rather than pushing a commit where I tested it. Please look twice to make sure that I didn't do something silly when making the edit here.

Update base image

DEV: overlay2 is the recommended storage engine not aufs

overlay2 is supported in all latest kernels and the default storage engine
for new installs of docker.

Recommend it.

Update dependencies: nginx, redis, imagemagick (#475)

- Redis from 5.0.5 to 5.0.9
- Nginx from 1.17.9 to 1.18.0
- ImageMagick from 7.0.10-6 to 7.0.10-24

Install less by default.

Useful for scanning through log files. Production Rails REPL uses Pry
which depends on less for paging. The default pager is not as user
friendly.

FIX: remove db_max_wal_senders and db_wal_level entirely

* I had previously removed the db_wal_level and db_max_wal_senders but
  foolishly assumed there was some sort of default or they would only get
  replaced if defined

FIX: re-exec code was broken

* BASH_ARGV is only used in extended debugging mode

Build libheif from source for Ubuntu (#474)

Update postgres templates (#472)

* postgres: Allow replication and basebackups to happen

* the overrides for db_wal_level and db_max_wal_senders disallow
  replication and basebackups to be taken
* there is no need for us to disable these features, allow the defaults to stay

* postgres: remove out-of-support templates

* taken from https://www.postgresql.org/support/versioning/ :
  * postgres 9.2 and 9.3 are no longer supported
  * 9.5 will be supported until February 11, 2021:

Add HEIF conversion support to ImageMagick (#473)

improve permissions in tmp directory

previously could be owned by the root group

Revert "Revert rake call to pull_compatible_all"

This reverts commit 0edf993a55953c9d5ee8856c87825659401c92c3.

Revert rake call to pull_compatible_all

FIX: run pull_compatible_all as discourse

FEATURE: add support for plugin-pinning (#470)

* FEATURE: add support for plugin-pinning

checks out pinned plugin versions, if defined, by way of the rake task

* refactor rake task name

FIX: Typo in retried image pull

Handle dangling pg data folders from previous updates

Simpler instruction in case of pg_upgrade failure

There are many cases (database had bad shutdown, missing locale env)
where the manual export isn't needed, so point the admin to meta so
some easier solutions can be tried first.

FIX: Automatically retry image pull once (#468)

Bump to optional jemalloc 5.2.1

Some content on the sshd template so pups don't explodes

wait a bit more if necessary for container stop

Remove Vagrant references as they are no longer used

Remove all pg12 traces so pg_wrapper doesn't get confused

Teach pg10 template how to install itself for rollbacks

Fix free disk space calculation take 2

Fix disk detection units

df was reporting bytes while du was reporting Kilobytes.

Fix dev image for new pg

New base image with PostgreSQL 12

PostgreSQL 12 (#462)

UI: discourse-setup tweak dns problem message (#460)

Make the "your domain doesn't resolve" message more clear.

Bump Ruby to 2.6.6

FIX: Add a blank sshd.template.yml (#463)

DEV: remove unused sshd template

No need to carry this template anymore we do not use it.

FIX: sshd template

* sshd template users were unable to rebuild
* the replace command was trying to modify a file from the package before it was installed

Update Discourse base image to 2.0.20200429-2110

FIX: remove broken symlinks from removed plugins

* if plugins have been removed or renamed, we end up with a dangling symlink in this directory
* this causes the build to fail later during a chown

Revert "Remove nginx-common package"

This reverts commit 30e0c58d1dd851a00bf7decc6182e3948c10a545.

* turns out we do depend on the default nginx.conf and directories provided by the distribution package
* notably /etc/nginx.conf and /etc/nginx/conf.d

Remove nginx-common package

* I don't think we need it at all

Add hash checks to downloaded source files

* we had one in place for redis but nowhere else

Bump ImageMagick and nginx versions

Move openssh-server from the base image to the sshd template

Prevent unused packages from being pulled into the base image

* e.g. X11 libraries, mysql libraries, mailutils, NTLM libraries

FEATURE: Give option to publish log file publicly (#459)

FEATURE: Don't use fully qualified path for bash in host (#458)

Unfreeze Gemfile in import templates

Co-authored-by: Jay Pfaffman <pfaffman@gmail.com>

DEV: Bump baseimage

This includes updated dependencies required for the codereview plugin and
additional fixes

Add cmake as a base dependency

Early hostname check (#456)

* Move hostname check to earlier in the process

* Provide instruction on hostname check failure

* Fix instruction in case of hostname failure

Update README.md (#455)

Fix indentation at L56

Bump base image

FEATURE: Default to HTTPS