FIX: Backup Restore was broken because rsync was missing
[discourse_docker.git] / README.md
index af8076042da38b02a7b9bb6a28fb3c673cb738d3..9afa70d579a5eb904333e9ffdcef0a99dfe9c602 100644 (file)
--- a/README.md
+++ b/README.md
@@ -1,83 +1,70 @@
-##Discourse Docker
-
-A toolkit for building and managing Docker images for Discourse.
-
 ### About
 
-The Discourse docker templates were designed by Sam Saffron. See the following introduction: http://samsaffron.com/archive/2013/11/07/discourse-in-a-docker-container
+- [Docker](https://docker.com/) is an open source project to pack, ship and run any Linux application in a lighter weight, faster container than a traditional virtual machine.
 
-These templates are agnostic, you may run Discourse in multiple containers or a single container.
+- Docker makes it much easier to deploy [a Discourse forum](https://github.com/discourse/discourse) on your servers and keep it updated. For background, see [Sam's blog post](http://samsaffron.com/archive/2013/11/07/discourse-in-a-docker-container).
 
-The templates and base image take care of configuring Discourse with best practices in mind. The latest version of Ruby 2.0 is included as is fairly extensive memory and GC tuning. The web template uses unicorn which helps cut down on overall memory usage making this very suitable for VPS type installs.
+- The templates and base image configure Discourse with the Discourse team's recommended optimal defaults.
 
-###Getting started
+### Getting Started
 
-The simplest (though slightly more fragile) way of getting started is using the standalone template.
+The simplest way to get started is via the **standalone** template, which can be installed in 30 minutes or less. For detailed install instructions, see
 
-- `mkdir -p /var/docker/data`
-- Clone this project from github into `/var/docker`
-- `cp samples/standalone.yml containers/app.yml`
-- **Edit** app.yml with your environment specific information, including binds and volumes
-- `sudo ./launcher bootstrap app`
-- `sudo ./launcher start app`
-- Ensure you setup iptables or some other firewall to protect various ports (like postgres/redis in multi image setups)
-
-Note: you can add yourself to the docker group if you wish to avoid `sudo` with `usermod -a -G docker your-user-name`.
+https://github.com/discourse/discourse/blob/master/docs/INSTALL-cloud.md
 
 ### Directory Structure
 
-- cids
+#### `/cids`
 
 Contains container ids for currently running Docker containers. cids are Docker's "equivalent" of pids. Each container will have a unique git like hash.
 
-- containers
+#### `/containers`
 
-This directory is to contain container definitions for your various Discourse containers. You are in charge of this directory, it ships empty.
+This directory is for container definitions for your various Discourse containers. You are in charge of this directory, it ships empty.
 
-- samples
+#### `/samples`
 
-Sample container definitions you may use to bootstrap your environment. You can copy and amend templates here into the containers directory.
+Sample container definitions you may use to bootstrap your environment. You can copy templates from here into the containers directory.
 
-- shared
+#### `/shared`
 
 Placeholder spot for shared volumes with various Discourse containers. You may elect to store certain persistent information outside of a container, in our case we keep various logfiles and upload directory outside. This allows you to rebuild containers easily without losing important information. Keeping uploads outside of the container allows you to share them between multiple web instances.
 
-- templates
-
-[pups](https://github.com/samsaffron/pups) managed pups templates you may use to bootstrap your environment.
+#### `/templates`
 
-- image
+[pups](https://github.com/samsaffron/pups)-managed templates you may use to bootstrap your environment.
 
-Dockerfile for both the base image `samsaffron/discoruse_base` and discourse image `samsaffron/discourse`.
+#### `/image`
 
-`samsaffron/discourse_base` contains all the OS dependencies including sshd, runit, postgres, nginx, ruby.
+Dockerfiles for Discourse; see [the README](image/README.md) for further details.
 
-`samsaffron/discourse` builds on the base image and configures a discourse user and `/var/www/discourse` directory for the Discourse source.
+The Docker repository will always contain the latest built version at: https://hub.docker.com/r/discourse/base/, you should not need to build the base image.
 
-The Docker repository will always contain the latest built version at: https://index.docker.io/u/samsaffron/discourse/ , you should not need to build the base image.
+### Launcher
 
-###launcher
-
-The base directory contains a single bash script which is used to manage containers. You can use it to "bootstrap" a new container, ssh in, start, stop and destroy a container.
+The base directory contains a single bash script which is used to manage containers. You can use it to "bootstrap" a new container, enter, start, stop and destroy a container.
 
 ```
-Usage: launcher COMMAND CONFIG
+Usage: launcher COMMAND CONFIG [--skip-prereqs]
 Commands:
     start:      Start/initialize a container
     stop:       Stop a running container
     restart:    Restart a container
     destroy:    Stop and remove a container
-    ssh:        Start a bash shell in a running container
+    enter:      Use docker exec to enter a container
     logs:       Docker logs for container
+       memconfig:  Configure sane defaults for available RAM
     bootstrap:  Bootstrap a container for the config based on a template
+    rebuild:    Rebuild a container (destroy old, bootstrap, start new)
 ```
 
+If the environment variable "SUPERVISED" is set to true, the container won't be detached, allowing a process monitoring tool to manage the restart behaviour of the container.
 
-###About the container configuration
+### Container Configuration
 
-The beggining of the container definition will contain 3 "special" sections:
+The beginning of the container definition can contain the following "special" sections:
 
-- templates:
+#### templates:
 
 ```
 templates:
@@ -85,91 +72,148 @@ templates:
   - "templates/postgres.template.yml"
 ```
 
-This template is "composed" out of all these child templates, this allows for a very flexible configuration struture. Further more you may add specific hooks that extend the templates you reference.
+This template is "composed" out of all these child templates, this allows for a very flexible configuration structure. Furthermore you may add specific hooks that extend the templates you reference.
 
-- expose:
+#### expose:
 
 ```
 expose:
   - "2222:22"
+  - "127.0.0.1:20080:80"
 ```
 
-Expose port 22 inside the container on port 2222 on ALL local host interfaces.
+Publish port 22 inside the container on port 2222 on ALL local host interfaces. In order to bind to only one interface, you may specify the host's IP address as `([<host_interface>:[host_port]])|(<host_port>):<container_port>[/udp]` as defined in the [docker port binding documentation](http://docs.docker.com/userguide/dockerlinks/). To expose a port without publishing it, specify only the port number (e.g., `80`).
 
 
-- volumes:
+#### volumes:
 
 ```
 volumes:
   - volume:
-      host: /var/docker/data
+      host: /var/discourse/shared
       guest: /shared
 
 ```
 
-Expose a directory inside the host inside the container.
+Expose a directory inside the host to the container.
+
+#### links:
+```
+links:
+  - link:
+      name: postgres
+      alias: postgres
+```
+
+Links another container to the current container. This will add `--link postgres:postgres`
+to the options when running the container.
 
-###Upgrading discourse
+#### environment variables:
 
-The docker setup gives you multiple upgrade options:
+Setting environment variables to the current container.
 
-1. You can use the front end at http://yoursite.com/admin/docker to upgrade an already running image.
+```
+# app.yml
 
-2. You can create a new base image by running:
-  - `./launcher bootstrap my_image`
-  - `./launcher destroy my_image`
-  - `./launcher start my_image`
+env:
+  DISCOURSE_DB_HOST: some-host
+  DISCOURSE_DB_NAME: {{config}}_discourse
+```
 
-###Multi image vs Single image setups
+The above will add `-e DISCOURSE_DB_HOST=some-host -e DISCOURSE_DB_NAME=app_discourse` to the options when running the container.
 
-The samples directory conains a standalone template. This template will bundle all of the programs required to run discourse into a single image. The advantage is that it is very easy to get started as you do not need to wire up comms between containers.
+#### labels:
+```
+# app.yml
 
-However, the disadvantage is that the bootstrapping process will launch a new postgres instance, having 2 postgres instances running against a single directory can lead to unexpected results. Due to that, if you are ever to bootstrap the `standalone` template again you should first stop the existing container.
+labels:
+  monitor: 'true'
+  app_name: {{config}}_discourse
+```
 
-A multi image setup allows you to bootstrap new web processes while your site is running and only after it is built, switch the new image in. The setup is far more flexible and robust, however is a bit more complicated to setup. See the `data.yml` and `web_only.yml` templates in the samples directory. To ease this process, `launcher` will inject an env var called `DISCOURSE_HOST_IP` which will be available inside the image.
+Add labels to the current container. The above will add `--l monitor=true -l app_name=dev_discourse` to the options
+when running the container
 
-###Email setup
+### Upgrading Discourse
 
-For a Discourse instance to function properly Email must be setup. You can use an after_code hook in your template to setup mail, for example this will setup email integration with mandrill (which offer free smtp services).
+The Docker setup gives you multiple upgrade options:
 
-```
-    - replace:
-        filename: /var/www/discourse/config/environments/production.rb
-        from: /end/
-        direction: reverse
-        to: |
-          config.action_mailer.delivery_method = :smtp
-          config.action_mailer.smtp_settings = {
-            :address              => 'smtp.mandrillapp.com',
-            :port                 => 587,
-            :domain               => 'mydomain.com',
-            :user_name            => 'user@example.com',
-            :password             => 'some_password',
-            :authentication       => 'login',
-            :enable_starttls_auto => true
-          }
-          end
+1. Use the front end at http://yoursite.com/admin/upgrade to upgrade an already running image.
+
+2. Create a new base image manually by running:
+  - `./launcher rebuild my_image`
+
+### Single Container vs. Multiple Container
+
+The samples directory contains a standalone template. This template bundles all of the software required to run Discourse into a single container. The advantage is that it is easy.
+
+The multiple container configuration setup is far more flexible and robust, however it is also more complicated to set up. A multiple container setup allows you to:
+
+- Minimize downtime when upgrading to new versions of Discourse. You can bootstrap new web processes while your site is running and only after it is built, switch the new image in.
+- Scale your forum to multiple servers.
+- Add servers for redundancy.
+- Have some required services (e.g. the database) run on beefier hardware.
+
+If you want a multiple container setup, see the `data.yml` and `web_only.yml` templates in the samples directory. To ease this process, `launcher` will inject an env var called `DISCOURSE_HOST_IP` which will be available inside the image.
+
+WARNING: In a multiple container configuration, *make sure* you setup iptables or some other firewall to protect various ports (for postgres/redis).
+On Ubuntu, install the `ufw` or `iptables-persistent` package to manage firewall rules.
+
+### Email
+
+For a Discourse instance to function properly Email must be set up. Use the `SMTP_URL` env var to set your SMTP address, see sample templates for an example. The Docker image does not contain postfix, exim or another MTA, it was omitted because it is very tricky to set up correctly.
+
+### Troubleshooting
+
+View the container logs: `./launcher logs my_container`
+
+Spawn a shell inside your container using `./launcher enter my_container`. This is the most foolproof method if you have host root access.
+
+If you see network errors trying to retrieve code from `github.com` or `rubygems.org` try again - sometimes there are temporary interruptions and a retry is all it takes.
+
+Behind a proxy network with no direct access to the Internet? Add proxy information to the container environment by adding to the existing `env` block in the `container.yml` file:
 
+```yaml
+env:
+    â€¦existing entries…
+    HTTP_PROXY: http://proxyserver:port/
+    http_proxy: http://proxyserver:port/
+    HTTPS_PROXY: http://proxyserver:port/
+    https_proxy: http://proxyserver:port/
 ```
 
-The docker image does not contain postfix, exim or another mta, it was omitted cause it is very tricky to setup perfectly.
+### Security
 
-###Troubleshooting
+Directory permissions in Linux are UID/GID based, if your numeric IDs on the
+host do not match the IDs in the guest, permissions will mismatch. On clean
+installs you can ensure they are in sync by looking at `/etc/passwd` and
+`/etc/group`, the Discourse account will have UID 1000.
 
-It is strongly recommended you have ssh access to your running containers, this allows you very easily take sneak peak of the internals. Simplest way to gain access is:
 
-1. Run a terminal as root
-2. cd `~/.ssh`
-3. `ssh-key-gen`
-4. paste the contents of `id_rsa.pub` into your templates (see placeholder in samples)
-5. bootstrap and run your container
-6. `./launcher ssh my_container`
+### Advanced topics
 
-###Security
+- [Setting up SSL with Discourse Docker](https://meta.discourse.org/t/allowing-ssl-for-your-discourse-docker-setup/13847)
+- [Multisite configuration with Docker](https://meta.discourse.org/t/multisite-configuration-with-docker/14084)
+- [Linking containers for a multiple container setup](https://meta.discourse.org/t/linking-containers-for-a-multiple-container-setup/20867)
+- [Using Rubygems mirror to improve connection problem in China](https://meta.discourse.org/t/replace-rubygems-org-with-taobao-mirror-to-resolve-network-error-in-china/21988/1)
 
-Directory permissions in Linux are sid based, if your sids on the host do not match the sids in the guest, permissions will mismatch. On clean installs you can ensure they are in sync by looking at `/etc/passwd` and `/etc/group`, the discourse account will have the sid 1000.
+### Developing with Vagrant
 
+If you are looking to make modifications to this repository, you can easily test
+out your changes before committing, using the magic of
+[Vagrant](http://vagrantup.com).  Install Vagrant as per [the default
+instructions](http://docs.vagrantup.com/v2/installation/index.html), and
+then run:
 
+    vagrant up
 
+This will spawn a new Ubuntu VM, install Docker, and then await your
+instructions.  You can then SSH into the VM with `vagrant ssh`, become
+`root` with `sudo -i`, and then you're right to go.  Your live git repo is
+already available at `/vagrant`, so you can just `cd /vagrant`
+and then start running `launcher`.
 
 
+License
+===
+MIT