Merge branch 'main' into fsf-master

DEV: Remove `RUBY_GLOBAL_METHOD_CACHE_SIZE` (#711)

It doesn't do anything since ruby 3.0.0.preview1. It was removed in https://github.com/ruby/ruby/pull/2888

Bump default base image to 2.0.20230502-0058 (#715)

DEV: Introduce `enable-ruby-yjit template

This adds the `RUBY_YJIT_ENABLE` environment variable which would enable
Ruby 3.2's YJIT. See
https://github.com/ruby/ruby/blob/master/doc/yjit/yjit.md for more
information about YJIT.

templates: abort on fetch error

DEV: Install all yarn dependencies (#708)

`devDependencies` is often used for things like ember-cli build tooling. Until now we have been moving those things to `dependencies` in our `package.json`, but it makes more sense for us to conform to the industry norms.

Bump default base image to discourse/base:2.0.20230420-0104

Merge branch 'main' into fsf-master

DEV: Wait up to 10 minutes for safe PG stop (#709)

Over the years we had LOTS of cases of PostgreSQL instances that weren't stopped properly. This gives PG more time to handle it's shutdown cleanly on the worst case, but will still shutdown fast in normal cases.

FEATURE: Store the `version` parameter as custom value in git config

This is particularly useful when the version is pointing to a git tag like `beta`, otherwise we won't be able to reliably detect the tracked version at runtime.

FIX: Rebuild fails when tracked `version` switches from branch to tag

We are replacing the `beta` branch with a tag of the same name. Rebuilding a container will fail when a user tracks the `beta` version and the base image was built at a time where `beta` was still a branch. This resolves that by pruning tags and branches and forcing an update of tags during the rebuild.

Bump default base image to run Ruby 3.2.2 as default

Ruby 3.2.2 was released with a two security fixes. While the security
fixes have been assessed to have low impact on Discourse, we still want
to get the upgrade in as a preventive measure.

Add template to enable an IPv6 listener

By default nginx in the container only listens for IPv4 connections. Some users
want to enable direct IPv6 connectivity to the container either via forwarding
or NAT. This provides an easy method to allow that.

Remove stable-specific image (#700)

This was only introduced as a temporary solution for Discourse 2.8, which is now EOL

Merge branch 'main' into fsf-master

Bum to latest Ruby (#699)

DEV: Ubuntu installs do not like bullseye-backports (#698)

Check for Ubuntu 22.04 and 22.10 versions before trying to use
`bullseye-backports` otherwise they throw this error.

```
E: The value 'bullseye-backports' is invalid for APT::Default-Release as
such a release is not available in the sources failed
```

FIX: Rebuild was broken when an older image with shallow clone was used (#696)

This adds the original special handling for shallow clones back. It can be removed once everyone uses images with partial clones.

Bump base image to support partial clone (#695)

DEV: Create partial clone of discourse repository (#691)

A treeless clone is nearly as small as a shallow clone, but it contains the full history which makes it possible to easily checkout tags and commits and allows all features of docker_manager to work correctly.

See https://github.blog/2020-12-21-get-up-to-speed-with-partial-clone-and-shallow-clone/ for more information on treeless clones.

Also this change makes it possible to correctly pull the main branch which didn't work before.

DEV: Remove deprecation warnings from bundler (#690)

FIX: Compiling oxipng didn't work on aarch64 (#694)

This uses the new sparse-registry feature from Rust 1.68 which lowers the memory usage. This avoids that cargo is killed due to an OOM issue (exit code 137) during "Updating crates.io index".

Compile oxipng from source (#688)

* Download and compile oxipng from source
* Move oxipng install step after rust since it uses cargo

Bump base image for Ruby 3.2 (#682)

Bump default base image to discourse/base:2.0.20230217-0055

DEV: Bump Ruby to 3.2.1 (#650)

* DEV: Bump Ruby to 3.2.0

* Add libffi-dev

* Ruby 3.2.1

DEV: Remove `Press any key` from arm64 path (#675)

DEV: update ImageMagick to 7.1.0-62 (#679)

Correct parameter naming for PTY.spawn (#678)

Per the docs, first parameter for the block is STDOUT + STDERR, 2nd one is STDIN:
https://ruby-doc.org/3.1.3/exts/pty/PTY.html#method-c-spawn

As it is now, the method looks like it's reading from STDIN, though in
fact it's reading from an incorrectly named parameter for STDOUT.

FIX: Relax min kernel version (#674) [ci skip]

Users reported Discourse installing fine on kernel 4.4+.

See https://meta.discourse.org/t/kernel-version-upgrade-required-when-manually-updating-discourse/253756?u=falco

Add kernel version check (#673) [ci skip]

On Ruby 3.1 there is a `RuntimeException` when calling `Random.urandom` on platforms where it's not properly implemented, which includes people running Ubuntu 14.04 with kernel 3.13.

See

https://meta.discourse.org/t/docker-build-broken-site-down/252047
https://meta.discourse.org/t/undefined-method-deprecated-for-nil-nilclass-on-rebuild/251711
https://meta.discourse.org/t/discourse-update-error/253197
https://meta.discourse.org/t/bootstrap-failure-during-most-recent-upgrade/253424

FIX: Perform git operations as owning user (#672)

The `git` version in our discourse_test docker image was recently updated to include a permissions check before running any git commands. For this to pass, git operations must be performed by the user which owns the git repository's directory.

Merge branch 'main' into fsf-master

Bump base image for ImageMagick SVG fix

Add explicit SVG delete to ImageMagick

Bump stable image

Fix permissions error in dev image (#666)

Merge branch 'main' into fsf-master

discourse_dev: use local bundler directory for temp install (#662)

discourse_dev installs a temporary version of Discourse to create a pre-migrated database. Previously this was installing gems in the global bundler directory, which could lead to permissions errors. This commit makes it use a local vendor directory, just like we do in the production install of Discourse.

Update deprecated `::set-output` in GitHub actions workflow (#664)

discourse_test: Only apply `ENTRYPOINT` to release image (#663)

The slim images aren't able to run the full `rake docker:test` task, so having it as the entrypoint doesn't make sense. We only want it as the entrypoint on `discourse_test:release`

Use larger GitHub actions workers (#661)

Larger workers will be used for non-cron triggers to improve feedback-loop time when actively working on changes to the repository

Fix tagging

DEV: Allow booting app with slim image and make default for aarch46

Revert "Revert last nginx bump"

This reverts commit f2d598c2cd2341b1b18bf040e6349678edc55b1b.

We fixed the nginx.config in core to work with latest nginx

Revert last nginx bump

Still investigating, but something between a Discourse site being
proxied as unicorn>nginx>haproxy>cloudflare broke on the new nginx.

Automatic old image switch for stable

Revert "bump base image for Ruby 3.1.3" (#653)

This reverts commit 0595fc28210d1b563723b31baf55995afe856caf.

The new image is currently incompatible with the Discourse stable branch.

bump base image for Ruby 3.1.3

Update Ruby to 3.1.3 and deps bump

Revert "Update Ruby to 3.2"

This reverts commit c8837e7516c92650d35d28afdd791c986c415cba.

Revert "bump deps"

This reverts commit b1d243400cd43359769e1ba6ca7219a9e5e2a4a4.

bump deps

Update Ruby to 3.2

Merge branch 'main' into fsf-master

FEATURE: Update node to version 18.x (#646)

FEATURE: Add `pnpm` to the base slim image (#645)

Merge branch 'main' into fsf-master

Ubuntu Jammy (22.04) doesn't have libwebp6

Conditionally use libwebp7 on Jammy. N.B. This conditionalization should probably be generalized.

Merge branch 'main' into fsf-master

FIX: Reorder yarn/bundle install for compatibility (#642)

Some existing templates (e.g. those written by following [the multisite guide](https://meta.discourse.org/t/multisite-configuration-with-docker/14084) use the `after_bundle_exec` hook to run application code like `multisite:migrate`. Relatively recently, the ruby app has started depending on `yarn` dependencies for basic functionality, and therefore requires `yarn install` to have been run to avoid errors.

This commit moves the `yarn install` step before `bundle install`, so that existing users of the `after_bundle_exec` hook do not need to update their templates.

FIX: use proper acmesh-official upstream repo (#641)

Bump default base image to discourse/base:2.0.20220818-0047

Bump default base image to discourse/base:2.0.20220720-0049

Merge branch 'main' into fsf-master

FIX: Run `yarn install` when building development image (#638)

The rails app now leans on JS dependencies being present in node_modules

DEV: Use yarn `--frozen-lockfile` in production (#637)

This ensures that a `yarn install` will never modify the lockfile. We always want to use the lockfile from source control.

Bump default base image to 2.0.20220621-0049

slim: use apt-get instead of apt

WARNING: apt does not have a stable CLI interface. Use with caution in
scripts.

Also apply some DEBIAN_FRONTEND=noninteractive because this is running
in CI.

DEV: Remove Ember CLI flag from templates (#633)

Ember CLI assets are now the only option in Discourse. This flag is now a no-op.

FIX: Update the macOS memory check (#632)

`free` is not available by default on macOS

FIX: Unset RAILS_ENV to allow running both dev stuff and test (#629)

Trying to run specs with RAILS_ENV=development ends up like:

```
/usr/local/lib/ruby/gems/2.7.0/gems/bootsnap-1.11.1/lib/bootsnap/load_path_cache/core_ext/kernel_require.rb:30: warning: ⛔️ WARNING: Sidekiq testing API enabled, but this is not the test environment.  Your jobs will not go to Redis.

Randomized with seed 1716
FF

Failures:

  1) CategoryBadge escapes HTML in category names / descriptions
     Failure/Error: DB.test_transaction = ActiveRecord::Base.connection.current_transaction

     NoMethodError:
       undefined method `test_transaction=' for #<MiniSqlMultisiteConnection:0x000055a7662ea1e0>
     # ./spec/rails_helper.rb:284:in `block (2 levels) in <top (required)>'
     # ./spec/rails_helper.rb:277:in `block (2 levels) in <top (required)>'

```

DEV: Ensure secure file permissions by default (#627)

`discourse-setup` will now ensure container definitions are
installed with `0600` permissions mode only.

`launcher` will now throw a warning when an existing container
definition is world-readable.

Also clean up leftover `launcher setup` logic which no longer exists.
Merge pre-existing logic into `check_prereqs` function.

FIX: ensure the latest image is always pulled for the container we're building

If the user has overridden the `base_image` to something other than default, we
may not get the latest version of that image when bootstrapping.

To remedy, always pull the image to check the manifest after we parse it out.

FIX: rsyslog uses `adm` group now (#625)

`syslog` group doesn't exist anymore and:

```
# grep -i 'group' /etc/rsyslog.conf
$FileGroup adm
```

DEV: Add usage info to auto_build script (#626)

DEV: Don't install eslint and babel-eslint (#624)

Core has eslint in its dependencies, so there's no need for global eslint as far I can tell.

DEV: Fix workflow formatting (#623)

and update actions/checkout version

DEV: Update readme (#622)

Always pull image on arm

Bump default base image.

Pulls in b5ea6784b259055f52de33a289eb8b1b711a73ce.

Bump base Ruby version to 2.7.6

Pulls in fix for CVE-2022-28739

https://www.ruby-lang.org/en/news/2022/04/12/buffer-overrun-in-string-to-float-cve-2022-28739/

Merge branch 'main' into fsf-master

Fix some typos (found by codespell) (#613)

Signed-off-by: Stefan Weil <sw@weilnetz.de>

CLEANUP: literally this was my own feedback on my own changes I forgot to push before merging

Add label showing image creation time on commit

Cleanup code in the bootstrap function

I came here to do something else, but could not help cleaning up the bootstrap
code.

* add die() helper
* pull the container ID into an environment variable right away instead of
  interpolating it every time
* we don't need to write out to a file prior to piping it into docker
* use $() instead of backticks
* tidied up messaging from failed docker commits

FIX: pg_basebackup parameter in take-database-backup (#611)

take-database-backup tries to use pg_baseback --xlog parameter which
was remove in postgres >=10.

DEV: Make wget consistently quiet (#612)

That firefox download is ~1.5k log lines long. 😅

DEV: use consistent third-party installation method (#610)

* DEV: use consistent third-party installation method

* FIX: slim base image build on aarch64

DEV: use proper upstream repo path for ruby-build (#609)

Add support for btrfs storage driver in docker

After several months of using btrfs in our forum in production with no issue, I can say that btrfs seems quite stable and I am proposing to add it to the supported storage drivers under docker.

Using btrfs makes it a breeze to take snapshots and revert to a previous state of discourse, and taking backups with minimal forum interrupt time.

Here is a discussion about it in discourse forum:
https://meta.discourse.org/t/unable-to-rebuild-app-not-supported-docker-storage-driver-btrfs/209200/14

Bump base image

DEV: compile redis with TLS support in our base image (#606)

FIX: Worker connections are set on nginx.conf

FEATURE: Bump and allow customization of nginx worker_processes

MessageBus connections on busy sites can easily use more than the max
default number of connections.

Refer to http://nginx.org/en/docs/ngx_core_module.html#worker_connections

Fix checksums

DEV: Update nginx

DEV: Update ImageMagick

DEV: Update oxipng to 5.0.1