FIX: Reorder yarn/bundle install for compatibility (#642)

Some existing templates (e.g. those written by following [the multisite guide](https://meta.discourse.org/t/multisite-configuration-with-docker/14084) use the `after_bundle_exec` hook to run application code like `multisite:migrate`. Relatively recently, the ruby app has started depending on `yarn` dependencies for basic functionality, and therefore requires `yarn install` to have been run to avoid errors.

This commit moves the `yarn install` step before `bundle install`, so that existing users of the `after_bundle_exec` hook do not need to update their templates.

FIX: use proper acmesh-official upstream repo (#641)

Bump default base image to discourse/base:2.0.20220818-0047

Bump default base image to discourse/base:2.0.20220720-0049

FIX: Run `yarn install` when building development image (#638)

The rails app now leans on JS dependencies being present in node_modules

DEV: Use yarn `--frozen-lockfile` in production (#637)

This ensures that a `yarn install` will never modify the lockfile. We always want to use the lockfile from source control.

Bump default base image to 2.0.20220621-0049

slim: use apt-get instead of apt

WARNING: apt does not have a stable CLI interface. Use with caution in
scripts.

Also apply some DEBIAN_FRONTEND=noninteractive because this is running
in CI.

DEV: Remove Ember CLI flag from templates (#633)

Ember CLI assets are now the only option in Discourse. This flag is now a no-op.

FIX: Update the macOS memory check (#632)

`free` is not available by default on macOS

FIX: Unset RAILS_ENV to allow running both dev stuff and test (#629)

Trying to run specs with RAILS_ENV=development ends up like:

```
/usr/local/lib/ruby/gems/2.7.0/gems/bootsnap-1.11.1/lib/bootsnap/load_path_cache/core_ext/kernel_require.rb:30: warning: ⛔️ WARNING: Sidekiq testing API enabled, but this is not the test environment.  Your jobs will not go to Redis.

Randomized with seed 1716
FF

Failures:

  1) CategoryBadge escapes HTML in category names / descriptions
     Failure/Error: DB.test_transaction = ActiveRecord::Base.connection.current_transaction

     NoMethodError:
       undefined method `test_transaction=' for #<MiniSqlMultisiteConnection:0x000055a7662ea1e0>
     # ./spec/rails_helper.rb:284:in `block (2 levels) in <top (required)>'
     # ./spec/rails_helper.rb:277:in `block (2 levels) in <top (required)>'

```

DEV: Ensure secure file permissions by default (#627)

`discourse-setup` will now ensure container definitions are
installed with `0600` permissions mode only.

`launcher` will now throw a warning when an existing container
definition is world-readable.

Also clean up leftover `launcher setup` logic which no longer exists.
Merge pre-existing logic into `check_prereqs` function.

FIX: ensure the latest image is always pulled for the container we're building

If the user has overridden the `base_image` to something other than default, we
may not get the latest version of that image when bootstrapping.

To remedy, always pull the image to check the manifest after we parse it out.

FIX: rsyslog uses `adm` group now (#625)

`syslog` group doesn't exist anymore and:

```
# grep -i 'group' /etc/rsyslog.conf
$FileGroup adm
```

DEV: Add usage info to auto_build script (#626)

DEV: Don't install eslint and babel-eslint (#624)

Core has eslint in its dependencies, so there's no need for global eslint as far I can tell.

DEV: Fix workflow formatting (#623)

and update actions/checkout version

DEV: Update readme (#622)

Always pull image on arm

Bump default base image.

Pulls in b5ea6784b259055f52de33a289eb8b1b711a73ce.

Bump base Ruby version to 2.7.6

Pulls in fix for CVE-2022-28739

https://www.ruby-lang.org/en/news/2022/04/12/buffer-overrun-in-string-to-float-cve-2022-28739/

Fix some typos (found by codespell) (#613)

Signed-off-by: Stefan Weil <sw@weilnetz.de>

CLEANUP: literally this was my own feedback on my own changes I forgot to push before merging

Add label showing image creation time on commit

Cleanup code in the bootstrap function

I came here to do something else, but could not help cleaning up the bootstrap
code.

* add die() helper
* pull the container ID into an environment variable right away instead of
  interpolating it every time
* we don't need to write out to a file prior to piping it into docker
* use $() instead of backticks
* tidied up messaging from failed docker commits

FIX: pg_basebackup parameter in take-database-backup (#611)

take-database-backup tries to use pg_baseback --xlog parameter which
was remove in postgres >=10.

DEV: Make wget consistently quiet (#612)

That firefox download is ~1.5k log lines long. 😅

DEV: use consistent third-party installation method (#610)

* DEV: use consistent third-party installation method

* FIX: slim base image build on aarch64

DEV: use proper upstream repo path for ruby-build (#609)

Add support for btrfs storage driver in docker

After several months of using btrfs in our forum in production with no issue, I can say that btrfs seems quite stable and I am proposing to add it to the supported storage drivers under docker.

Using btrfs makes it a breeze to take snapshots and revert to a previous state of discourse, and taking backups with minimal forum interrupt time.

Here is a discussion about it in discourse forum:
https://meta.discourse.org/t/unable-to-rebuild-app-not-supported-docker-storage-driver-btrfs/209200/14

Bump base image

DEV: compile redis with TLS support in our base image (#606)

FIX: Worker connections are set on nginx.conf

FEATURE: Bump and allow customization of nginx worker_processes

MessageBus connections on busy sites can easily use more than the max
default number of connections.

Refer to http://nginx.org/en/docs/ngx_core_module.html#worker_connections

Fix checksums

DEV: Update nginx

DEV: Update ImageMagick

DEV: Update oxipng to 5.0.1

DEV: Update phpBB3 template to work with latest base image (#603)

DEV: update launcher for new base image and pups gem (#602)

DEV: Install latest pups via gem instead of git clone (#599)

DEV: Update ruby to 2.7.5 (#600)

FIX: Use `bundle config` instead of deprecated flags (#598)

Bundler 2.3.0 started re-installing and re-invoking itself based on the `BUNDLED WITH` declaration in the Gemfile.lock. The second run of bundler doesn't receive the flags from the initial invocation.

These flags were deprecated some time ago. The recommended solution is to use `bundle config`, which persists the config to the filesystem for future invocations to load.

FIX: md5 auth replace for postgres.13.template.yml (#594)

There has likely been one s/12/13/ too many in this file.
Note: the typo is not present in the default postgres template; only this specific file, which is otherwise identical to the default one.

FIX: script name in run-all-tests (#595)

FIX: Do not activate plugins before checking compatibility (#593)

https://github.com/discourse/discourse/pull/15537

DEV: Fix aarch64 build (#592)

buildx can't build `FROM` a local image, so we need to set up a temporary local registry for the intermediate image

DEV: Provide slim versions of the discourse_test image (#586)

Also moves the discourse_test image to use a multi-stage build

DEV: Tag the correct images as 'slim' (#591)

DEV: Pass `TAG` variable between workflow steps (#590)

DEV: Correct GitHub actions build definition (#589)

Introduce a discourse/base:slim image (#588)

The base-slim image doesn't run `yarn install` or `bundle install`, so it is much more lightweight. This is intended for use by systems which do their own dependency caching (e.g. GitHub Actions)

The image will be released under the `:slim` tag, and also `:v2.0.{timestamp}-slim`

discourse_test: re-use bundled gems from the base file (#587)

By doing `rm -rf .bundle` and `bundle install --standalone`, we were setting up bundle to install gems in `./bundle`. The base file installs gems in `./vendor/bundle`. That means that the test image was ending up with two complete copies of our dependencies.

This commit removes the `--standalone` command, and allows the `./vendor/bundle` artifacts to be re-used in the test image.

Use aarch64 tag automatically when necessary

add buildx and qemu setup

move aarch64 build to CI

try building an image for aarch64

discourse/base: remove vim package (#582)

A buffer overflow vulnerability (CVE-2021-3973) has been discovered in
vim. As of the moment, this remains unpatched in Debian. Admittedly the
likelihood of encountering this exploit in the wild within the Discourse
base image is pretty low, but given this image is intended to run
non-interactively vim is not strictly required as a part of the image.
In any case, the package can be added at runtime for debugging purposes.

See https://security-tracker.debian.org/tracker/CVE-2021-3973.

Bump base image used with launcher (#581)

This change includes the oxipng binary.

See: 244c9cb110df44eb9d846a24b5572471a2687071

FIX: add EMBER_CLI_PROD_ASSETS: 1 to web_only.yml

I just noticed that my test of this wasn't much of a test since the change wasn't applied to web_only...

DEV: Add oxipng binary to base image (#579)

image_optim, a ruby library we use, now has support for oxipng:

 https://github.com/toy/image_optim/pull/190#issuecomment-920433324

So I'm adding the oxipng binary to the base image so that we can
start using it. There currently isn't an apt package for it.

Use Ember CLI production assets by defaults for new installs (#578)

FIX: Remove expired LE root cert from our local validation

The old root was getting openssl confused, resulting in a new
certificate on every rebuild that could easily trigger existing let's
encrypt rate-limits.

Bump base image used with launcher (#575)

FIX: See that force_https is set for lets encrypt

Recent changes to let's encrypt having to do with the surprisingly tragic root certificate update are causing sites not to have `force_https` set.

This set force_https.

There remain some issues with let's encrypt requesting certs when it shouldn't but this fixes the worst of the problem with little effort.

Update dependencies (#573)

DEV: replace mailcatcher with mailhog (#572)

FIX: the output from which confuses an integer comparison

Thanks @ldmosquera for identifying the problem and fix

FIX: discourse/discourse changed from 'master' to 'main'

DEV: Install evergreen Firefox in test image

Update dependencies

DEV: Clean yarn cache after yarn install (#568)

The cache is not required to run the application. This should make the docker image much smaller.

We may want to re-evaluate this decision when switching to yarn v2, which has a very different caching system.

PERF: Remove unneeded recursive `chown` (#567)

This command can take a very long time (> 2 minutes on a CDCK build machine) now that the directory contains the `yarn` cache. However, there are no files in `/home/discourse` that are owned by a different user, so the command does absolutely nothing. This can be demonstrated by using the `-c` flag (which prints any changes made):

```
docker run --rm -it discourse/base:2.0.20210826-1706 /bin/bash -c "time chown -cR discourse /home/discourse"
```

This has an empty output for the latest base image. Therefore this line can be safely removed

Fix #551 regression on old pg

FIX: `yarn install` in web.template.yml (#565)

This is required in case dependency versions have changed between the base image, and the current version of Discourse. `yarn install` will only be run when `node_modules` exists, so this change will only affect recent versions of the base image.

FIX: Don't install devDependencies in production image (#564)

devDependencies includes `lefthook`, which can cause some unexpected side effects during git operations in a production image

FIX: Don't run yarn install as root

DEV: Add firefox for Ember tests

Also removes install of nodejs/yarn since they are already provided
by the base image.

DEV: Remove references to deprecated main branch

DEV: Also run ember tests in Firefox

FEATURE: update NGINX mainline

FEATURE: update Ruby from 2.7.2 -> 2.7.4

FIX: Use example domain in mail receiver example config

Context at https://meta.discourse.org/t/-/193664/4?u=falco

Co-authored-by: Jay Pfaffman <jay@literatecomputing.com>

Fix line break handling in Cloudflare template

Cloudflare's IP list has gone back and forth between including a trailing line break and omitting it.

When a trailing line break was first added in 2015, it resulted in a bug: https://meta.discourse.org/t/issue-with-cloudflare-template/35113

The trailing line break was removed again in 2021: https://meta.discourse.org/t/cloudflare-template-broken-again/200219

This fixes the template so that it will work regardless of extra line breaks.  It will also safely ignore any empty lines that may appear in the files.

FIX: Use the return code from which correctly

The return code of which is the number of arguments which failed...
but what we actually want is 0 when at least one of the docker
exectutables is found and nonzero when none are found.

Run yarn and cache packages

Add yarn to base image

Allow all to connect in with md5 auth using IPv6 (#551)

FIX: Don't print error message from which when checking docker install (#549)

'which docker.io || which docker' prints an error message when docker.io
is missing, which will be the case on any non-Ubuntu-based system. This
is confusing and not actually an error unless _both_ are missing.

FIX: `/var/lib/docker` doesn't exist on macOS (#543)

Even though `docker info --format '{{.DockerRootDir}}'` returns that path.

Update to NodeJS 16 (#552)

Rename master to main

discourse/discourse moved from master to main

Update GitHub actions configuration (#548)

- Only attempt dockerhub push if previous steps are successful
- Make auto_build.rb exit with non-zero status if build fails
- enable experimental features (--squash) for dev image build

Add GitHub actions configuration (#547)

Force acme.sh to use LE instead of ZeroSSL

Bump acme.sh to latest

Promote new base image as default

Bump deps

Update to NodeJS 15