FIX: Use example domain in mail receiver example config

Context at https://meta.discourse.org/t/-/193664/4?u=falco

Co-authored-by: Jay Pfaffman <jay@literatecomputing.com>

Fix line break handling in Cloudflare template

Cloudflare's IP list has gone back and forth between including a trailing line break and omitting it.

When a trailing line break was first added in 2015, it resulted in a bug: https://meta.discourse.org/t/issue-with-cloudflare-template/35113

The trailing line break was removed again in 2021: https://meta.discourse.org/t/cloudflare-template-broken-again/200219

This fixes the template so that it will work regardless of extra line breaks.  It will also safely ignore any empty lines that may appear in the files.

FIX: Use the return code from which correctly

The return code of which is the number of arguments which failed...
but what we actually want is 0 when at least one of the docker
exectutables is found and nonzero when none are found.

Run yarn and cache packages

Add yarn to base image

Allow all to connect in with md5 auth using IPv6 (#551)

FIX: Don't print error message from which when checking docker install (#549)

'which docker.io || which docker' prints an error message when docker.io
is missing, which will be the case on any non-Ubuntu-based system. This
is confusing and not actually an error unless _both_ are missing.

FIX: `/var/lib/docker` doesn't exist on macOS (#543)

Even though `docker info --format '{{.DockerRootDir}}'` returns that path.

Update to NodeJS 16 (#552)

Rename master to main

discourse/discourse moved from master to main

Update GitHub actions configuration (#548)

- Only attempt dockerhub push if previous steps are successful
- Make auto_build.rb exit with non-zero status if build fails
- enable experimental features (--squash) for dev image build

Add GitHub actions configuration (#547)

Force acme.sh to use LE instead of ZeroSSL

Bump acme.sh to latest

Promote new base image as default

Bump deps

Update to NodeJS 15

Bump base image (#538)

no longer allow nested templates (#535)

Bump base image to add Terser, remove SVGO (#536)

FEATURE: ensure pups runs a specific version (#534)

Previously we used a "floating" head branch. This makes it impossible to make
any breaking changes in pups.

Remove Svgo, update ImageMagick, Redis, Libheif (#533)

Add Terser (#532)

Reverse the order of nested templates. (#531)

Reverses the order of nested template declaration.

This way templates that depend nested templates over the same
hook are ensured to run in the proper order.

Ensures consistency of run-order template includes, for both
base yml files, and nested template yml

eg:

base.yml
```
templates:
  - "templates/template1.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template1.yml.txt"
```

template1.yml
```
templates:
  - "templates/template2.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template2.yml.txt"
    - exec: echo "data from template1" > /tmp/file_made_from_template1.yml.txt
```

template2.yml
```
hooks:
  after_code:
    - exec: echo "data from template2" > /tmp/file_made_from_template2.yml.txt
```

DEV: Parse and install bundler version from Gemfile.lock (#530)

This ensures that changes in Bundler's behavior are only introduced
when we deliberately bump the version in the Gemfile

DEV: Add import template for Vanilla (#529)

FIX: discourse-setup stop running container (#528)

This got commented out during testing of the previous commit

feature:  discourse-setup email config improvements

Bump base image for OpenSSL CVEs

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=947949

Ensure it overrides all locale related variables

LC_ALL, LANG and LANGUAGE are set to en_US.UTF-8 in the docker image.
The config should override all of them when other locale is needed.
Otherwise it fails to create a DB with the proper locale setting.

FIX: match prune time for cleanup with description

Previously docs said we prune after 24 hours but we pruned after 1 hour.

FIX: discourse-setup MAXMIND works correctly

Ouch. This was worse than I thought.

Things fixed:

- consistent formatting (mostly that after `then` was indented by 4, not 2)
- fail if `DISCOURSE_MAXMIND_LICENSE_KEY` is not added to $web_file
- detect if `web_only.yml` exists
- stop `web_only` if it exists rather than non-existing `app` (but why is it stopping it anyway?)
- don't try to `assert_maxmind_license_key` before `app.yml` exists

use $web_file not app.yml

Maybe this will do the trick

FIX: discourse-setup was not adding MAXMIND key

Oops. The line that was supposed to add the MAXMIND line to app.yml was broken.

Revert "Separate themes:update and assets:precompile tasks (#522)" (#523)

This reverts commit 70686cf6ee53432aa9f92880c368e52a589f7196.

Separate themes:update and assets:precompile tasks (#522)

Re-add removed packages

Make script work on ubuntu and debian

No inline comments in bash

Update ImageMagick build

- Use libpng from package manager
- Update libheif
- Update ImageMagick
- Adds libaom so libheif and IM can deal with AVIF image format

Bump Redis minor version

Bump to NodeJS 14 since NodeJS 10 is EOL this April

Use pngquant from package manager

Use pngcrush from package manager

Remove gifsicle dependency

https://github.com/discourse/discourse/commit/43e52a7dc1d9e610792ff37755d26b1168ecf20d

nginx brotli module bundles libbrotli nowadays

Support maxmind (#512)

* add prompts for maxmind

* can leave key blank

* include message for removing key

* fix maxmind prompts

* cleanup assert_maxmind_license_key

* remove changes to check_port()

* remove trailing whitespace

* do not remove ip match check

* fix  indent for chech_IP_match

* remove all trailing whitespace

Expose SMTP_DOMAIN Global Setting in sample file (#515)

This is useful when using some SMTP providers, like Google Apps

https://meta.discourse.org/t/discourse-smtp-sends-ehlo-localhost-instead-of-domain-breaking-google-smtp-relay/176755/6?u=falco

FEATURE: Add validation to admin email prompt in discourse-setup (#514)

FEATURE: Changed awk config command to be more cross platform (#513)

in Ubuntu 20.04 LTS, pre installed is mawk 1.3.4, which is called when you use awk. In this version, "--field-seperator" is not a valid option, leaving discourse-doctor with many errors.
Described in https://meta.discourse.org/t/discourse-doctor-parsing-smtp-credentials-not-working-admin-registration-email-not-working/174461, this commit aims to use -F as the accepted flag for field separation which is unambiguous across GNU AWK and Ubuntu MAWK.

FEATURE: Bump base image (#511)

Provides new version of ImageMagick

Add maxmind geolocation IP key to web template (#510)

Add maxmind geolocation IP key to web only template (commented out)

Update standalone.yml (#508)

Revert "Add env var for image version (#507)" (#509)

This reverts commit 35806741fe8934367a010e1fcf4de9b483ce038c.

Add env var for image version (#507)

Adds WEBP support in ImageMagick (#506)

FIX: perform bundle install after modifying directory permissions (#504)

Remove `host_run` from `launcher`. (#498)

This is legacy code that we no longer use and support.

Remove git pull (#503)

Revert git command changes (#502)

* Revert "FIX: reset takes the full slash path (#501)"

This reverts commit bf223b05427d432d6ab313eb7740d42caa989c6a.

* Revert "FIX: Run reset and clean after checkout (#500)"

This reverts commit bc380c73eef970e57195159a654edd2b14fb633b.

* Revert "FIX: remove pull for Discourse core (#499)"

This reverts commit 0ab1da11598467b944182748b8e8c6d363093544.

FIX: reset takes the full slash path (#501)

FIX: Run reset and clean after checkout (#500)

shallow fetching and resetting may result in a dirty working tree.
Ensure we have a clean working tree by running the reset and clean after the
fetch.

Previously, we needed the clean and reset before the PULL, to ensure a clean
pull, but since we are using fetch + checkout (which does not result in a
merge if dirty) we might end up with a dirty repo after the checkout, such
as if a clone remote has a different master branch than core.

FIX: remove pull for Discourse core (#499)

We are already shallow-fetching a few lines below. A pull with a shallow
clone can be dangerous if Discourse is using a different repository
or version, as that potentially results in more data being pulled or a
dirty merge with a different upstream.

Remove the pull and rely only on the fetch and checkout.

postgres.10.template: purge postgres-13 rather than 12. (#497)

This purge command was missed and caused issues with the database
starting up correctly in some cases. Postgres-12 is no longer in the
base image so this wouldn't be doing anything.

New image with fix for CVE-2020-1971 (#496)

Fix dev image to work with pg13 (#495)

FIX: prompt to remove old psql data defaults to 'N'

launcher: update base image for postgres 13 update. (#494)

Update base image and default to postgres 13. (#493)

FEATURE: update to PostgreSQL 13.

* postgres.template.yml: update to new major version of 13.

This changes the default postgres version to 13 for the postgres
template.

* images/base: bump postgres to version 13.
* postgres.13.template.yml: add postgres 13 template.
* postgres.12.template: add step to remove pg 13 install.
* launcher: increase timeout allowed for docker stop.

With large databases Postgres may take some time to stop gracefully, so
increase the allowed timeout.

* launcher: use temporary pg13 image while build is running.
Note this will be updated once the image change lands in master.

Bump default base image

Handle the case where IPv6 is also used (#480)

* We want web.ssl.template.yml to handle the IPv6 case as well

FEATURE: Use a shallow clone for Discourse core

This reduces final compressed image size in 25%.

Adding sed statement to disable imklog in rsyslog (#489)

Bump Ruby version to 2.7.2

It is compatible with Discourse and a bit faster than 2.6

We will test this image internally for a few weeks prior to bumping globally.

DOCS: correct syntax error in readme

FEATURE: Run themes:update before assets:precompile (#484)

Upgrade to Redis 6.0.9 (#487)

This unlocks using the new I/O Threads feature of Redis 6.X.

In order to support it the redis template file now accepts a parameter
allowing an operator to enable it and pick how many threads.

By default sets threads to 1, which disables the feature and acts like
redis 5.

TASK: Improve README and YAML Codeblocks. (#486)

Remove additional exit command (#485)

FEATURE: Replace the default ImageMagick policy.xml (#483)

* Replace the default ImageMagick policy.xml

Replace the default ImageMagick policy.xml with a file containing some resource limitiations. The intention is to stop exceptionally oversized images (and/or malformed images) from consuming all resources on a system.

The values provided should provide ample resources for any reasonable image to be processed without hinderance.

Reflect Discourse default of HTTPS (#482)

Discourse installs HTTPS as standard, so mail-receiver should probably reflect this too.

Update base image to cover latest security fixes

Image has been tested on internal Discourse servers and is good

Install libxss1 for the test image, looks like it is needed by Chrome

See also https://github.com/puppeteer/puppeteer/issues/6192

FIX: Always remove pids on boot

Previously if unicorn stopped abruptly we could have a situation where
pids were left around

This could lead to Sidekiq not booting

This will ensure that on boot our state is clean

DEV: Raise an error when env variable is a YAML hash (#479)

This is never intended, and almost always causes unintended behaviour

FIX: discourse-doctor plugin check too loose (#478)

The non-official plugin check was looking only for `git`, which would match other things in the yml file (e.g., a digital ocean S3 bucket name).

`grep` for `'git clone'` should solve that problem.

Though I did test this edit on a running sitee, I made these edit in the web interface by hand rather than pushing a commit where I tested it. Please look twice to make sure that I didn't do something silly when making the edit here.

Update base image

DEV: overlay2 is the recommended storage engine not aufs

overlay2 is supported in all latest kernels and the default storage engine
for new installs of docker.

Recommend it.

Update dependencies: nginx, redis, imagemagick (#475)

- Redis from 5.0.5 to 5.0.9
- Nginx from 1.17.9 to 1.18.0
- ImageMagick from 7.0.10-6 to 7.0.10-24

Install less by default.

Useful for scanning through log files. Production Rails REPL uses Pry
which depends on less for paging. The default pager is not as user
friendly.

FIX: remove db_max_wal_senders and db_wal_level entirely

* I had previously removed the db_wal_level and db_max_wal_senders but
  foolishly assumed there was some sort of default or they would only get
  replaced if defined

FIX: re-exec code was broken

* BASH_ARGV is only used in extended debugging mode

Build libheif from source for Ubuntu (#474)

Update postgres templates (#472)

* postgres: Allow replication and basebackups to happen

* the overrides for db_wal_level and db_max_wal_senders disallow
  replication and basebackups to be taken
* there is no need for us to disable these features, allow the defaults to stay

* postgres: remove out-of-support templates

* taken from https://www.postgresql.org/support/versioning/ :
  * postgres 9.2 and 9.3 are no longer supported
  * 9.5 will be supported until February 11, 2021:

Add HEIF conversion support to ImageMagick (#473)

improve permissions in tmp directory

previously could be owned by the root group

Revert "Revert rake call to pull_compatible_all"

This reverts commit 0edf993a55953c9d5ee8856c87825659401c92c3.

Revert rake call to pull_compatible_all

FIX: run pull_compatible_all as discourse