add buildx and qemu setup

move aarch64 build to CI

try building an image for aarch64

discourse/base: remove vim package (#582)

A buffer overflow vulnerability (CVE-2021-3973) has been discovered in
vim. As of the moment, this remains unpatched in Debian. Admittedly the
likelihood of encountering this exploit in the wild within the Discourse
base image is pretty low, but given this image is intended to run
non-interactively vim is not strictly required as a part of the image.
In any case, the package can be added at runtime for debugging purposes.

See https://security-tracker.debian.org/tracker/CVE-2021-3973.

Bump base image used with launcher (#581)

This change includes the oxipng binary.

See: 244c9cb110df44eb9d846a24b5572471a2687071

FIX: add EMBER_CLI_PROD_ASSETS: 1 to web_only.yml

I just noticed that my test of this wasn't much of a test since the change wasn't applied to web_only...

DEV: Add oxipng binary to base image (#579)

image_optim, a ruby library we use, now has support for oxipng:

 https://github.com/toy/image_optim/pull/190#issuecomment-920433324

So I'm adding the oxipng binary to the base image so that we can
start using it. There currently isn't an apt package for it.

Use Ember CLI production assets by defaults for new installs (#578)

FIX: Remove expired LE root cert from our local validation

The old root was getting openssl confused, resulting in a new
certificate on every rebuild that could easily trigger existing let's
encrypt rate-limits.

Bump base image used with launcher (#575)

FIX: See that force_https is set for lets encrypt

Recent changes to let's encrypt having to do with the surprisingly tragic root certificate update are causing sites not to have `force_https` set.

This set force_https.

There remain some issues with let's encrypt requesting certs when it shouldn't but this fixes the worst of the problem with little effort.

Update dependencies (#573)

DEV: replace mailcatcher with mailhog (#572)

FIX: the output from which confuses an integer comparison

Thanks @ldmosquera for identifying the problem and fix

FIX: discourse/discourse changed from 'master' to 'main'

DEV: Install evergreen Firefox in test image

Update dependencies

DEV: Clean yarn cache after yarn install (#568)

The cache is not required to run the application. This should make the docker image much smaller.

We may want to re-evaluate this decision when switching to yarn v2, which has a very different caching system.

PERF: Remove unneeded recursive `chown` (#567)

This command can take a very long time (> 2 minutes on a CDCK build machine) now that the directory contains the `yarn` cache. However, there are no files in `/home/discourse` that are owned by a different user, so the command does absolutely nothing. This can be demonstrated by using the `-c` flag (which prints any changes made):

```
docker run --rm -it discourse/base:2.0.20210826-1706 /bin/bash -c "time chown -cR discourse /home/discourse"
```

This has an empty output for the latest base image. Therefore this line can be safely removed

Fix #551 regression on old pg

FIX: `yarn install` in web.template.yml (#565)

This is required in case dependency versions have changed between the base image, and the current version of Discourse. `yarn install` will only be run when `node_modules` exists, so this change will only affect recent versions of the base image.

FIX: Don't install devDependencies in production image (#564)

devDependencies includes `lefthook`, which can cause some unexpected side effects during git operations in a production image

FIX: Don't run yarn install as root

DEV: Add firefox for Ember tests

Also removes install of nodejs/yarn since they are already provided
by the base image.

DEV: Remove references to deprecated main branch

DEV: Also run ember tests in Firefox

FEATURE: update NGINX mainline

FEATURE: update Ruby from 2.7.2 -> 2.7.4

FIX: Use example domain in mail receiver example config

Context at https://meta.discourse.org/t/-/193664/4?u=falco

Co-authored-by: Jay Pfaffman <jay@literatecomputing.com>

Fix line break handling in Cloudflare template

Cloudflare's IP list has gone back and forth between including a trailing line break and omitting it.

When a trailing line break was first added in 2015, it resulted in a bug: https://meta.discourse.org/t/issue-with-cloudflare-template/35113

The trailing line break was removed again in 2021: https://meta.discourse.org/t/cloudflare-template-broken-again/200219

This fixes the template so that it will work regardless of extra line breaks.  It will also safely ignore any empty lines that may appear in the files.

FIX: Use the return code from which correctly

The return code of which is the number of arguments which failed...
but what we actually want is 0 when at least one of the docker
exectutables is found and nonzero when none are found.

Run yarn and cache packages

Add yarn to base image

Allow all to connect in with md5 auth using IPv6 (#551)

FIX: Don't print error message from which when checking docker install (#549)

'which docker.io || which docker' prints an error message when docker.io
is missing, which will be the case on any non-Ubuntu-based system. This
is confusing and not actually an error unless _both_ are missing.

FIX: `/var/lib/docker` doesn't exist on macOS (#543)

Even though `docker info --format '{{.DockerRootDir}}'` returns that path.

Update to NodeJS 16 (#552)

Rename master to main

discourse/discourse moved from master to main

Update GitHub actions configuration (#548)

- Only attempt dockerhub push if previous steps are successful
- Make auto_build.rb exit with non-zero status if build fails
- enable experimental features (--squash) for dev image build

Add GitHub actions configuration (#547)

Force acme.sh to use LE instead of ZeroSSL

Bump acme.sh to latest

Promote new base image as default

Bump deps

Update to NodeJS 15

Bump base image (#538)

no longer allow nested templates (#535)

Bump base image to add Terser, remove SVGO (#536)

FEATURE: ensure pups runs a specific version (#534)

Previously we used a "floating" head branch. This makes it impossible to make
any breaking changes in pups.

Remove Svgo, update ImageMagick, Redis, Libheif (#533)

Add Terser (#532)

Reverse the order of nested templates. (#531)

Reverses the order of nested template declaration.

This way templates that depend nested templates over the same
hook are ensured to run in the proper order.

Ensures consistency of run-order template includes, for both
base yml files, and nested template yml

eg:

base.yml
```
templates:
  - "templates/template1.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template1.yml.txt"
```

template1.yml
```
templates:
  - "templates/template2.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template2.yml.txt"
    - exec: echo "data from template1" > /tmp/file_made_from_template1.yml.txt
```

template2.yml
```
hooks:
  after_code:
    - exec: echo "data from template2" > /tmp/file_made_from_template2.yml.txt
```

DEV: Parse and install bundler version from Gemfile.lock (#530)

This ensures that changes in Bundler's behavior are only introduced
when we deliberately bump the version in the Gemfile

DEV: Add import template for Vanilla (#529)

FIX: discourse-setup stop running container (#528)

This got commented out during testing of the previous commit

feature:  discourse-setup email config improvements

Bump base image for OpenSSL CVEs

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=947949

Ensure it overrides all locale related variables

LC_ALL, LANG and LANGUAGE are set to en_US.UTF-8 in the docker image.
The config should override all of them when other locale is needed.
Otherwise it fails to create a DB with the proper locale setting.

FIX: match prune time for cleanup with description

Previously docs said we prune after 24 hours but we pruned after 1 hour.

FIX: discourse-setup MAXMIND works correctly

Ouch. This was worse than I thought.

Things fixed:

- consistent formatting (mostly that after `then` was indented by 4, not 2)
- fail if `DISCOURSE_MAXMIND_LICENSE_KEY` is not added to $web_file
- detect if `web_only.yml` exists
- stop `web_only` if it exists rather than non-existing `app` (but why is it stopping it anyway?)
- don't try to `assert_maxmind_license_key` before `app.yml` exists

use $web_file not app.yml

Maybe this will do the trick

FIX: discourse-setup was not adding MAXMIND key

Oops. The line that was supposed to add the MAXMIND line to app.yml was broken.

Revert "Separate themes:update and assets:precompile tasks (#522)" (#523)

This reverts commit 70686cf6ee53432aa9f92880c368e52a589f7196.

Separate themes:update and assets:precompile tasks (#522)

Re-add removed packages

Make script work on ubuntu and debian

No inline comments in bash

Update ImageMagick build

- Use libpng from package manager
- Update libheif
- Update ImageMagick
- Adds libaom so libheif and IM can deal with AVIF image format

Bump Redis minor version

Bump to NodeJS 14 since NodeJS 10 is EOL this April

Use pngquant from package manager

Use pngcrush from package manager

Remove gifsicle dependency

https://github.com/discourse/discourse/commit/43e52a7dc1d9e610792ff37755d26b1168ecf20d

nginx brotli module bundles libbrotli nowadays

Support maxmind (#512)

* add prompts for maxmind

* can leave key blank

* include message for removing key

* fix maxmind prompts

* cleanup assert_maxmind_license_key

* remove changes to check_port()

* remove trailing whitespace

* do not remove ip match check

* fix  indent for chech_IP_match

* remove all trailing whitespace

Expose SMTP_DOMAIN Global Setting in sample file (#515)

This is useful when using some SMTP providers, like Google Apps

https://meta.discourse.org/t/discourse-smtp-sends-ehlo-localhost-instead-of-domain-breaking-google-smtp-relay/176755/6?u=falco

FEATURE: Add validation to admin email prompt in discourse-setup (#514)

FEATURE: Changed awk config command to be more cross platform (#513)

in Ubuntu 20.04 LTS, pre installed is mawk 1.3.4, which is called when you use awk. In this version, "--field-seperator" is not a valid option, leaving discourse-doctor with many errors.
Described in https://meta.discourse.org/t/discourse-doctor-parsing-smtp-credentials-not-working-admin-registration-email-not-working/174461, this commit aims to use -F as the accepted flag for field separation which is unambiguous across GNU AWK and Ubuntu MAWK.

FEATURE: Bump base image (#511)

Provides new version of ImageMagick

Add maxmind geolocation IP key to web template (#510)

Add maxmind geolocation IP key to web only template (commented out)

Update standalone.yml (#508)

Revert "Add env var for image version (#507)" (#509)

This reverts commit 35806741fe8934367a010e1fcf4de9b483ce038c.

Add env var for image version (#507)

Adds WEBP support in ImageMagick (#506)

FIX: perform bundle install after modifying directory permissions (#504)

Remove `host_run` from `launcher`. (#498)

This is legacy code that we no longer use and support.

Remove git pull (#503)

Revert git command changes (#502)

* Revert "FIX: reset takes the full slash path (#501)"

This reverts commit bf223b05427d432d6ab313eb7740d42caa989c6a.

* Revert "FIX: Run reset and clean after checkout (#500)"

This reverts commit bc380c73eef970e57195159a654edd2b14fb633b.

* Revert "FIX: remove pull for Discourse core (#499)"

This reverts commit 0ab1da11598467b944182748b8e8c6d363093544.

FIX: reset takes the full slash path (#501)

FIX: Run reset and clean after checkout (#500)

shallow fetching and resetting may result in a dirty working tree.
Ensure we have a clean working tree by running the reset and clean after the
fetch.

Previously, we needed the clean and reset before the PULL, to ensure a clean
pull, but since we are using fetch + checkout (which does not result in a
merge if dirty) we might end up with a dirty repo after the checkout, such
as if a clone remote has a different master branch than core.

FIX: remove pull for Discourse core (#499)

We are already shallow-fetching a few lines below. A pull with a shallow
clone can be dangerous if Discourse is using a different repository
or version, as that potentially results in more data being pulled or a
dirty merge with a different upstream.

Remove the pull and rely only on the fetch and checkout.

postgres.10.template: purge postgres-13 rather than 12. (#497)

This purge command was missed and caused issues with the database
starting up correctly in some cases. Postgres-12 is no longer in the
base image so this wouldn't be doing anything.

New image with fix for CVE-2020-1971 (#496)

Fix dev image to work with pg13 (#495)

FIX: prompt to remove old psql data defaults to 'N'

launcher: update base image for postgres 13 update. (#494)

Update base image and default to postgres 13. (#493)

FEATURE: update to PostgreSQL 13.

* postgres.template.yml: update to new major version of 13.

This changes the default postgres version to 13 for the postgres
template.

* images/base: bump postgres to version 13.
* postgres.13.template.yml: add postgres 13 template.
* postgres.12.template: add step to remove pg 13 install.
* launcher: increase timeout allowed for docker stop.

With large databases Postgres may take some time to stop gracefully, so
increase the allowed timeout.

* launcher: use temporary pg13 image while build is running.
Note this will be updated once the image change lands in master.

Bump default base image

Handle the case where IPv6 is also used (#480)

* We want web.ssl.template.yml to handle the IPv6 case as well