DEV: use proper upstream repo path for ruby-build (#609)

Add support for btrfs storage driver in docker

After several months of using btrfs in our forum in production with no issue, I can say that btrfs seems quite stable and I am proposing to add it to the supported storage drivers under docker.

Using btrfs makes it a breeze to take snapshots and revert to a previous state of discourse, and taking backups with minimal forum interrupt time.

Here is a discussion about it in discourse forum:
https://meta.discourse.org/t/unable-to-rebuild-app-not-supported-docker-storage-driver-btrfs/209200/14

Bump base image

DEV: compile redis with TLS support in our base image (#606)

FIX: Worker connections are set on nginx.conf

FEATURE: Bump and allow customization of nginx worker_processes

MessageBus connections on busy sites can easily use more than the max
default number of connections.

Refer to http://nginx.org/en/docs/ngx_core_module.html#worker_connections

Fix checksums

DEV: Update nginx

DEV: Update ImageMagick

DEV: Update oxipng to 5.0.1

DEV: Update phpBB3 template to work with latest base image (#603)

DEV: update launcher for new base image and pups gem (#602)

DEV: Install latest pups via gem instead of git clone (#599)

DEV: Update ruby to 2.7.5 (#600)

FIX: Use `bundle config` instead of deprecated flags (#598)

Bundler 2.3.0 started re-installing and re-invoking itself based on the `BUNDLED WITH` declaration in the Gemfile.lock. The second run of bundler doesn't receive the flags from the initial invocation.

These flags were deprecated some time ago. The recommended solution is to use `bundle config`, which persists the config to the filesystem for future invocations to load.

FIX: md5 auth replace for postgres.13.template.yml (#594)

There has likely been one s/12/13/ too many in this file.
Note: the typo is not present in the default postgres template; only this specific file, which is otherwise identical to the default one.

FIX: script name in run-all-tests (#595)

FIX: Do not activate plugins before checking compatibility (#593)

https://github.com/discourse/discourse/pull/15537

DEV: Fix aarch64 build (#592)

buildx can't build `FROM` a local image, so we need to set up a temporary local registry for the intermediate image

DEV: Provide slim versions of the discourse_test image (#586)

Also moves the discourse_test image to use a multi-stage build

DEV: Tag the correct images as 'slim' (#591)

DEV: Pass `TAG` variable between workflow steps (#590)

DEV: Correct GitHub actions build definition (#589)

Introduce a discourse/base:slim image (#588)

The base-slim image doesn't run `yarn install` or `bundle install`, so it is much more lightweight. This is intended for use by systems which do their own dependency caching (e.g. GitHub Actions)

The image will be released under the `:slim` tag, and also `:v2.0.{timestamp}-slim`

discourse_test: re-use bundled gems from the base file (#587)

By doing `rm -rf .bundle` and `bundle install --standalone`, we were setting up bundle to install gems in `./bundle`. The base file installs gems in `./vendor/bundle`. That means that the test image was ending up with two complete copies of our dependencies.

This commit removes the `--standalone` command, and allows the `./vendor/bundle` artifacts to be re-used in the test image.

Use aarch64 tag automatically when necessary

add buildx and qemu setup

move aarch64 build to CI

try building an image for aarch64

discourse/base: remove vim package (#582)

A buffer overflow vulnerability (CVE-2021-3973) has been discovered in
vim. As of the moment, this remains unpatched in Debian. Admittedly the
likelihood of encountering this exploit in the wild within the Discourse
base image is pretty low, but given this image is intended to run
non-interactively vim is not strictly required as a part of the image.
In any case, the package can be added at runtime for debugging purposes.

See https://security-tracker.debian.org/tracker/CVE-2021-3973.

Bump base image used with launcher (#581)

This change includes the oxipng binary.

See: 244c9cb110df44eb9d846a24b5572471a2687071

FIX: add EMBER_CLI_PROD_ASSETS: 1 to web_only.yml

I just noticed that my test of this wasn't much of a test since the change wasn't applied to web_only...

DEV: Add oxipng binary to base image (#579)

image_optim, a ruby library we use, now has support for oxipng:

 https://github.com/toy/image_optim/pull/190#issuecomment-920433324

So I'm adding the oxipng binary to the base image so that we can
start using it. There currently isn't an apt package for it.

Use Ember CLI production assets by defaults for new installs (#578)

FIX: Remove expired LE root cert from our local validation

The old root was getting openssl confused, resulting in a new
certificate on every rebuild that could easily trigger existing let's
encrypt rate-limits.

Bump base image used with launcher (#575)

FIX: See that force_https is set for lets encrypt

Recent changes to let's encrypt having to do with the surprisingly tragic root certificate update are causing sites not to have `force_https` set.

This set force_https.

There remain some issues with let's encrypt requesting certs when it shouldn't but this fixes the worst of the problem with little effort.

Update dependencies (#573)

DEV: replace mailcatcher with mailhog (#572)

FIX: the output from which confuses an integer comparison

Thanks @ldmosquera for identifying the problem and fix

FIX: discourse/discourse changed from 'master' to 'main'

DEV: Install evergreen Firefox in test image

Update dependencies

DEV: Clean yarn cache after yarn install (#568)

The cache is not required to run the application. This should make the docker image much smaller.

We may want to re-evaluate this decision when switching to yarn v2, which has a very different caching system.

PERF: Remove unneeded recursive `chown` (#567)

This command can take a very long time (> 2 minutes on a CDCK build machine) now that the directory contains the `yarn` cache. However, there are no files in `/home/discourse` that are owned by a different user, so the command does absolutely nothing. This can be demonstrated by using the `-c` flag (which prints any changes made):

```
docker run --rm -it discourse/base:2.0.20210826-1706 /bin/bash -c "time chown -cR discourse /home/discourse"
```

This has an empty output for the latest base image. Therefore this line can be safely removed

Fix #551 regression on old pg

FIX: `yarn install` in web.template.yml (#565)

This is required in case dependency versions have changed between the base image, and the current version of Discourse. `yarn install` will only be run when `node_modules` exists, so this change will only affect recent versions of the base image.

FIX: Don't install devDependencies in production image (#564)

devDependencies includes `lefthook`, which can cause some unexpected side effects during git operations in a production image

FIX: Don't run yarn install as root

DEV: Add firefox for Ember tests

Also removes install of nodejs/yarn since they are already provided
by the base image.

DEV: Remove references to deprecated main branch

DEV: Also run ember tests in Firefox

FEATURE: update NGINX mainline

FEATURE: update Ruby from 2.7.2 -> 2.7.4

FIX: Use example domain in mail receiver example config

Context at https://meta.discourse.org/t/-/193664/4?u=falco

Co-authored-by: Jay Pfaffman <jay@literatecomputing.com>

Fix line break handling in Cloudflare template

Cloudflare's IP list has gone back and forth between including a trailing line break and omitting it.

When a trailing line break was first added in 2015, it resulted in a bug: https://meta.discourse.org/t/issue-with-cloudflare-template/35113

The trailing line break was removed again in 2021: https://meta.discourse.org/t/cloudflare-template-broken-again/200219

This fixes the template so that it will work regardless of extra line breaks.  It will also safely ignore any empty lines that may appear in the files.

FIX: Use the return code from which correctly

The return code of which is the number of arguments which failed...
but what we actually want is 0 when at least one of the docker
exectutables is found and nonzero when none are found.

Run yarn and cache packages

Add yarn to base image

Allow all to connect in with md5 auth using IPv6 (#551)

FIX: Don't print error message from which when checking docker install (#549)

'which docker.io || which docker' prints an error message when docker.io
is missing, which will be the case on any non-Ubuntu-based system. This
is confusing and not actually an error unless _both_ are missing.

FIX: `/var/lib/docker` doesn't exist on macOS (#543)

Even though `docker info --format '{{.DockerRootDir}}'` returns that path.

Update to NodeJS 16 (#552)

Rename master to main

discourse/discourse moved from master to main

Update GitHub actions configuration (#548)

- Only attempt dockerhub push if previous steps are successful
- Make auto_build.rb exit with non-zero status if build fails
- enable experimental features (--squash) for dev image build

Add GitHub actions configuration (#547)

Force acme.sh to use LE instead of ZeroSSL

Bump acme.sh to latest

Promote new base image as default

Bump deps

Update to NodeJS 15

Bump base image (#538)

no longer allow nested templates (#535)

Bump base image to add Terser, remove SVGO (#536)

FEATURE: ensure pups runs a specific version (#534)

Previously we used a "floating" head branch. This makes it impossible to make
any breaking changes in pups.

Remove Svgo, update ImageMagick, Redis, Libheif (#533)

Add Terser (#532)

Reverse the order of nested templates. (#531)

Reverses the order of nested template declaration.

This way templates that depend nested templates over the same
hook are ensured to run in the proper order.

Ensures consistency of run-order template includes, for both
base yml files, and nested template yml

eg:

base.yml
```
templates:
  - "templates/template1.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template1.yml.txt"
```

template1.yml
```
templates:
  - "templates/template2.yml"
hooks:
  after_code:
    - exec: cat "/tmp/file_made_from_template2.yml.txt"
    - exec: echo "data from template1" > /tmp/file_made_from_template1.yml.txt
```

template2.yml
```
hooks:
  after_code:
    - exec: echo "data from template2" > /tmp/file_made_from_template2.yml.txt
```

DEV: Parse and install bundler version from Gemfile.lock (#530)

This ensures that changes in Bundler's behavior are only introduced
when we deliberately bump the version in the Gemfile

DEV: Add import template for Vanilla (#529)

FIX: discourse-setup stop running container (#528)

This got commented out during testing of the previous commit

feature:  discourse-setup email config improvements

Bump base image for OpenSSL CVEs

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=947949

Ensure it overrides all locale related variables

LC_ALL, LANG and LANGUAGE are set to en_US.UTF-8 in the docker image.
The config should override all of them when other locale is needed.
Otherwise it fails to create a DB with the proper locale setting.

FIX: match prune time for cleanup with description

Previously docs said we prune after 24 hours but we pruned after 1 hour.

FIX: discourse-setup MAXMIND works correctly

Ouch. This was worse than I thought.

Things fixed:

- consistent formatting (mostly that after `then` was indented by 4, not 2)
- fail if `DISCOURSE_MAXMIND_LICENSE_KEY` is not added to $web_file
- detect if `web_only.yml` exists
- stop `web_only` if it exists rather than non-existing `app` (but why is it stopping it anyway?)
- don't try to `assert_maxmind_license_key` before `app.yml` exists

use $web_file not app.yml

Maybe this will do the trick

FIX: discourse-setup was not adding MAXMIND key

Oops. The line that was supposed to add the MAXMIND line to app.yml was broken.

Revert "Separate themes:update and assets:precompile tasks (#522)" (#523)

This reverts commit 70686cf6ee53432aa9f92880c368e52a589f7196.

Separate themes:update and assets:precompile tasks (#522)

Re-add removed packages

Make script work on ubuntu and debian

No inline comments in bash

Update ImageMagick build

- Use libpng from package manager
- Update libheif
- Update ImageMagick
- Adds libaom so libheif and IM can deal with AVIF image format

Bump Redis minor version

Bump to NodeJS 14 since NodeJS 10 is EOL this April

Use pngquant from package manager

Use pngcrush from package manager

Remove gifsicle dependency

https://github.com/discourse/discourse/commit/43e52a7dc1d9e610792ff37755d26b1168ecf20d