Copied Toms changes to the correct doc source file
[exim.git] / doc / doc-docbook / spec.xfpt
index 762ee3728e910149016a0d9d9aa6856f42354133..9578b21a2978ccbe2459b08f9696e7c88869b68d 100644 (file)
@@ -1,10 +1,14 @@
-. $Cambridge: exim/doc/doc-docbook/spec.xfpt,v 1.16 2007/04/11 15:26:09 ph10 Exp $
+. $Cambridge: exim/doc/doc-docbook/spec.xfpt,v 1.29 2008/01/17 13:10:37 nm4 Exp $
 .
 . /////////////////////////////////////////////////////////////////////////////
 . This is the primary source of the Exim Manual. It is an xfpt document that is
 . converted into DocBook XML for subsequent conversion into printing and online
 . formats. The markup used herein is "standard" xfpt markup, with some extras.
 . The markup is summarized in a file called Markup.txt.
+.
+. WARNING: When you use the .new macro, make sure it appears *before* any
+. adjacent index items; otherwise you get an empty "paragraph" which causes
+. unwanted vertical space.
 . /////////////////////////////////////////////////////////////////////////////
 
 .include stdflags
@@ -28,7 +32,7 @@
   foot_right_recto="&chaptertitle; (&chapternumber;)"
   foot_right_verso="&chaptertitle; (&chapternumber;)"
   toc_chapter_blanks="yes,yes"
-  table_warn_soft_overflow="no"
+  table_warn_overflow="overprint"
 ?>
 .literal off
 
@@ -43,8 +47,8 @@
 . the <bookinfo> element must also be updated for each new edition.
 . /////////////////////////////////////////////////////////////////////////////
 
-.set previousversion "4.66"
-.set version "4.67"
+.set previousversion "4.69"
+.set version "4.70"
 
 .set ACL "access control lists (ACLs)"
 .set I   "&nbsp;&nbsp;&nbsp;&nbsp;"
 .flag &!?      "</emphasis>&Dagger;<emphasis>"
 
 . --- A macro for an Exim option definition heading, generating a one-line
-. --- table with four columns.
+. --- table with four columns. For cases when the option name is given with
+. --- a space, so that it can be split, a fifth argument is used for the
+. --- index entry.
 
 .macro option
+.arg 5
+.oindex "&%$5%&"
+.endarg
+.arg -5
 .oindex "&%$1%&"
+.endarg
 .itable all 0 0 4 8* left 6* center 6* center 6* right
 .row "&%$1%&" "Use: &'$2'&" "Type: &'$3'&" "Default: &'$4'&"
 .endtable
 <bookinfo>
 <title>Specification of the Exim Mail Transfer Agent</title>
 <titleabbrev>The Exim MTA</titleabbrev>
-<date>10 April 2007</date>
+<date>23 August 2007</date>
 <author><firstname>Philip</firstname><surname>Hazel</surname></author>
 <authorinitials>PH</authorinitials>
 <affiliation><orgname>University of Cambridge Computing Service</orgname></affiliation>
 <address>New Museums Site, Pembroke Street, Cambridge CB2 3QH, England</address>
 <revhistory><revision>
-  <revnumber>4.67</revnumber>
-  <date>10 April 2007</date>
+  <revnumber>4.68</revnumber>
+  <date>23 August 2007</date>
   <authorinitials>PH</authorinitials>
 </revision></revhistory>
 <copyright><year>2007</year><holder>University of Cambridge</holder></copyright>
 </indexterm>
 <indexterm role="concept">
   <primary>maximum</primary>
-  <see><emphasis>limit</emphasis></see>
+  <seealso><emphasis>limit</emphasis></seealso>
 </indexterm>
 <indexterm role="concept">
   <primary>monitor</primary>
@@ -376,7 +387,7 @@ very wide interest.
 .cindex "books about Exim"
 An &"easier"& discussion of Exim which provides more in-depth explanatory,
 introductory, and tutorial material can be found in a book entitled &'The Exim
-SMTP Mail Server'&, published by UIT Cambridge
+SMTP Mail Server'& (second edition, 2007), published by UIT Cambridge
 (&url(http://www.uit.co.uk/exim-book/)).
 
 This book also contains a chapter that gives a general introduction to SMTP and
@@ -443,24 +454,21 @@ Squared, formerly Planet Online Ltd, whose support I gratefully acknowledge.
 
 .cindex "wiki"
 .cindex "FAQ"
-.new
 As well as Exim distribution tar files, the Exim web site contains a number of
 differently formatted versions of the documentation. A recent addition to the
-online information is the Exim wiki (&url(http://www.exim.org/eximwiki/)),
+online information is the Exim wiki &new("(&url(http://wiki.exim.org))"),
 which contains what used to be a separate FAQ, as well as various other
 examples, tips, and know-how that have been contributed by Exim users.
 
 .cindex Bugzilla
-An Exim Bugzilla exists at &url(http://www.exim.org/bugzilla/). You can use
+An Exim Bugzilla exists at &new("&url(http://bugs.exim.org)"). You can use
 this to report bugs, and also to add items to the wish list. Please search
 first to check that you are not duplicating a previous entry.
-.wen
 
 
 
 .section "Mailing lists" "SECID3"
 .cindex "mailing lists" "for Exim users"
-.new
 The following Exim mailing lists exist:
 
 .table2 140pt
@@ -469,7 +477,6 @@ The following Exim mailing lists exist:
 .row &'exim-announce@exim.org'&   "Moderated, low volume announcements list"
 .row &'exim-future@exim.org'&     "Discussion of long-term development"
 .endtable
-.wen
 
 You can subscribe to these lists, change your existing subscriptions, and view
 or search the archives via the mailing lists link on the Exim home page.
@@ -485,18 +492,18 @@ lists.
 
 .section "Exim training" "SECID4"
 .cindex "training courses"
-From time to time (approximately annually at the time of writing), training
-courses are run by the author of Exim in Cambridge, UK. Details of any
-forthcoming courses can be found on the web site
-&url(http://www-tus.csx.cam.ac.uk/courses/exim/).
-
+Training courses in Cambridge (UK) used to be run annually by the author of
+Exim, before he retired. At the time of writing, there are no plans to run
+further Exim courses in Cambridge. However, if that changes, relevant
+information will be posted at &url(http://www-tus.csx.cam.ac.uk/courses/exim/).
 
 .section "Bug reports" "SECID5"
 .cindex "bug reports"
 .cindex "reporting bugs"
-Reports of obvious bugs should be emailed to &'bugs@exim.org'&. However, if you
-are unsure whether some behaviour is a bug or not, the best thing to do is to
-post a message to the &'exim-dev'& mailing list and have it discussed.
+Reports of obvious bugs &new("can be emailed to &'bugs@exim.org'& or reported
+via the Bugzilla (&url(http://bugs.exim.org)).") However, if you are unsure
+whether some behaviour is a bug or not, the best thing to do is to post a
+message to the &'exim-dev'& mailing list and have it discussed.
 
 
 
@@ -530,13 +537,13 @@ The &_.bz2_& file is usually a lot smaller than the &_.gz_& file.
 .cindex "distribution" "signing details"
 .cindex "distribution" "public key"
 .cindex "public key for signed distribution"
-The distributions are currently signed with Philip Hazel's GPG key. The
+The distributions are currently signed with Nigel Metheringham's GPG key. The
 corresponding public key is available from a number of keyservers, and there is
-also a copy in the file &_Public-Key_&. The signatures for the tar bundles are
+also a copy in the file &_nigel-pubkey.asc_&. The signatures for the tar bundles are
 in:
 .display
-&_exim-n.nn.tar.gz.sig_&
-&_exim-n.nn.tar.bz2.sig_&
+&_exim-n.nn.tar.gz.asc_&
+&_exim-n.nn.tar.bz2.asc_&
 .endd
 For each released version, the log of changes is made separately available in a
 separate file in the directory &_ChangeLogs_& so that it is possible to
@@ -722,12 +729,12 @@ the Exim documentation, &"spool"& is always used in the first sense.
 A number of pieces of external code are included in the Exim distribution.
 
 .ilist
-Regular expressions are supported in the main Exim program and in the Exim
-monitor using the freely-distributable PCRE library, copyright &copy;
-University of Cambridge. The source is distributed in the directory
-&_src/pcre_&. However, this is a cut-down version of PCRE. If you want to use
-the PCRE library in other programs, you should obtain and install the full
-version of the library from
+Regular expressions are supported in the main Exim program and in the
+Exim monitor using the freely-distributable PCRE library, copyright
+&copy; University of Cambridge. The source to a cut down version of PCRE
+used to be distributed in the directory &_src/pcre_&. However, this is
+no longer the case and you will need to use a system PCRE library or
+obtain and install the full version of the library from
 &url(ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre).
 .next
 .cindex "cdb" "acknowledgment"
@@ -744,7 +751,6 @@ This program is free software; you can redistribute it and/or modify it under
 the terms of the GNU General Public License as published by the Free Software
 Foundation; either version 2 of the License, or (at your option) any later
 version.
-
 This code implements Dan Bernstein's Constant DataBase (cdb) spec. Information,
 the spec and sample code for cdb can be obtained from
 &url(http://www.pobox.com/~djb/cdb.html). This implementation borrows
@@ -975,7 +981,7 @@ received the message.
 .next
 There are two different possibilities for the final two characters:
 .olist
-.cindex "&%localhost_number%&"
+.oindex "&%localhost_number%&"
 If &%localhost_number%& is not set, this value is the fractional part of the
 time of reception, normally in units of 1/2000 of a second, but for systems
 that must use base 36 instead of base 62 (because of case-insensitive file
@@ -1118,8 +1124,8 @@ corrected, and can also freeze individual messages by hand if necessary. In
 addition, an administrator can force a delivery error, causing a bounce message
 to be sent.
 
-.cindex "&%timeout_frozen_after%&"
-.cindex "&%ignore_bounce_errors_after%&"
+.oindex "&%timeout_frozen_after%&"
+.oindex "&%ignore_bounce_errors_after%&"
 There are options called &%ignore_bounce_errors_after%& and
 &%timeout_frozen_after%&, which discard frozen messages after a certain time.
 The first applies only to frozen bounces, the second to any frozen messages.
@@ -1261,7 +1267,7 @@ the following:
 &'accept'&: The router accepts the address, and either assigns it to a
 transport, or generates one or more &"child"& addresses. Processing the
 original address ceases,
-.cindex "&%unseen%& option"
+.oindex "&%unseen%&"
 unless the &%unseen%& option is set on the router. This option
 can be used to set up multiple deliveries with different routing (for example,
 for keeping archive copies of messages). When &%unseen%& is set, the address is
@@ -1648,6 +1654,18 @@ architecture and operating system for itself, but the defaults can be
 overridden if necessary.
 
 
+.section "PCRE library" "SECTdb"
+.cindex "PCRE library"
+Exim no longer has an embedded PCRE library as the vast majority of
+modern systems include PCRE as a system library, although you may need
+to install the PCRE or PCRE development package for your operating
+system. If your system has a normal PCRE installation the Exim build
+process will need no further configuration. If the library or the
+headers are in an unusual location you will need to set the PCRE_LIBS
+and INCLUDE directives appropriately. If your operating system has no
+PCRE support then you will need to obtain and build the current PCRE
+from &url(ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/).
+
 .section "DBM libraries" "SECTdb"
 .cindex "DBM libraries" "discussion of"
 .cindex "hints database" "DBM files used for"
@@ -2820,12 +2838,10 @@ The &'exim_checkaccess'& utility is a &"packaged"& version of &%-bh%& whose
 output just states whether a given recipient address from a given host is
 acceptable or not. See section &<<SECTcheckaccess>>&.
 
-.new
 Features such as authentication and encryption, where the client input is not
 plain text, cannot easily be tested with &%-bh%&. Instead, you should use a
 specialized SMTP test program such as
 &url(http://jetmore.org/john/code/#swaks,swaks).
-.wen
 
 .vitem &%-bhc%&&~<&'IP&~address'&>
 .oindex "&%-bhc%&"
@@ -2922,7 +2938,7 @@ unqualified addresses in header lines are left alone.
 
 .vitem &%-bP%&
 .oindex "&%-bP%&"
-.cindex "configuration optionsextracting"
+.cindex "configuration options" "extracting"
 .cindex "options" "configuration &-- extracting"
 If this option is given with no arguments, it causes the values of all Exim's
 main configuration options to be written to the standard output. The values
@@ -2931,6 +2947,9 @@ arguments, for example:
 .code
 exim -bP qualify_domain hold_domains
 .endd
+.cindex "hiding configuration option values"
+.cindex "configuration options" "hiding value of"
+.cindex "options" "hiding value of"
 However, any option setting that is preceded by the word &"hide"& in the
 configuration file is not shown in full, except to an admin user. For other
 users, the output is as in this example:
@@ -3154,7 +3173,7 @@ the listening daemon.
 .cindex "testing" "addresses"
 .cindex "address" "testing"
 This option runs Exim in address testing mode, in which each argument is taken
-as a &new(recipient) address to be tested for deliverability. The results are
+as a recipient address to be tested for deliverability. The results are
 written to the standard output. If a test fails, and the caller is not an admin
 user, no details of the failure are output, because these might contain
 sensitive information such as usernames and passwords for database lookups.
@@ -3217,7 +3236,7 @@ dynamic testing facilities.
 .cindex "verifying address" "using &%-bv%&"
 .cindex "address" "verification"
 This option runs Exim in address verification mode, in which each argument is
-taken as a &new(recipient) address to be verified by the routers. (This does
+taken as a recipient address to be verified by the routers. (This does
 not involve any verification callouts). During normal operation, verification
 happens mostly as a consequence processing a &%verify%& condition in an ACL
 (see chapter &<<CHAPACL>>&). If you want to test an entire ACL, possibly
@@ -3722,6 +3741,14 @@ by an admin user.
 This option causes the contents of the message body (-D) spool file to be
 written to the standard output. This option can be used only by an admin user.
 
+.vitem &%-Mvc%&&~<&'message&~id'&>
+.oindex "&%-Mvc%&"
+.cindex "message" "listing in RFC 2822 format"
+.cindex "listing" "message in RFC 2922 format"
+This option causes a copy of the complete message (header lines plus body) to
+be written to the standard output in RFC 2822 format. This option can be used
+only by an admin user.
+
 .vitem &%-Mvh%&&~<&'message&~id'&>
 .oindex "&%-Mvh%&"
 .cindex "listing" "message headers"
@@ -4522,30 +4549,38 @@ is introduced by the word &"begin"& followed by the name of the part. The
 optional parts are:
 
 .ilist
-&'ACL'&: Access control lists for controlling incoming SMTP mail.
+&'ACL'&: Access control lists for controlling incoming SMTP mail (see chapter
+&<<CHAPACL>>&).
 .next
 .cindex "AUTH" "configuration"
 &'authenticators'&: Configuration settings for the authenticator drivers. These
 are concerned with the SMTP AUTH command (see chapter &<<CHAPSMTPAUTH>>&).
 .next
 &'routers'&: Configuration settings for the router drivers. Routers process
-addresses and determine how the message is to be delivered.
+addresses and determine how the message is to be delivered (see chapters
+&<<CHAProutergeneric>>&&--&<<CHAPredirect>>&).
 .next
 &'transports'&: Configuration settings for the transport drivers. Transports
-define mechanisms for copying messages to destinations.
+define mechanisms for copying messages to destinations (see chapters
+&<<CHAPtransportgeneric>>&&--&<<CHAPsmtptrans>>&).
 .next
-&'retry'&: Retry rules, for use when a message cannot be immediately delivered.
+&'retry'&: Retry rules, for use when a message cannot be delivered immediately.
+If there is no retry section, or if it is empty (that is, no retry rules are
+defined), Exim will not retry deliveries. In this situation, temporary errors
+are treated the same as permanent errors. Retry rules are discussed in chapter
+&<<CHAPretry>>&.
 .next
 &'rewrite'&: Global address rewriting rules, for use when a message arrives and
-when new addresses are generated during delivery.
+when new addresses are generated during delivery. Rewriting is discussed in
+chapter &<<CHAPrewrite>>&.
 .next
 &'local_scan'&: Private options for the &[local_scan()]& function. If you
 want to use this feature, you must set
 .code
 LOCAL_SCAN_HAS_OPTIONS=yes
 .endd
-in &_Local/Makefile_& before building Exim. Full details of the
-&[local_scan()]& facility are given in chapter &<<CHAPlocalscan>>&.
+in &_Local/Makefile_& before building Exim. Details of the &[local_scan()]&
+facility are given in chapter &<<CHAPlocalscan>>&.
 .endlist
 
 .cindex "configuration file" "leading white space in"
@@ -4742,6 +4777,9 @@ space) and then the value. For example:
 .code
 qualify_domain = mydomain.example.com
 .endd
+.cindex "hiding configuration option values"
+.cindex "configuration options" "hiding value of"
+.cindex "options" "hiding value of"
 Some option settings may contain sensitive data, for example, passwords for
 accessing databases. To stop non-admin users from using the &%-bP%& command
 line option to read these values, you can precede the option settings with the
@@ -4789,13 +4827,11 @@ You can use whichever syntax you prefer.
 .section "Integer values" "SECID48"
 .cindex "integer configuration values"
 .cindex "format" "integer"
-.new
 If an option's type is given as &"integer"&, the value can be given in decimal,
 hexadecimal, or octal. If it starts with a digit greater than zero, a decimal
 number is assumed. Otherwise, it is treated as an octal number unless it starts
 with the characters &"0x"&, in which case the remainder is interpreted as a
 hexadecimal number.
-.wen
 
 If an integer value is followed by the letter K, it is multiplied by 1024; if
 it is followed by the letter M, it is multiplied by 1024x1024. When the values
@@ -4808,20 +4844,16 @@ used.
 .section "Octal integer values" "SECID49"
 .cindex "integer format"
 .cindex "format" "octal integer"
-.new
 If an option's type is given as &"octal integer"&, its value is always
 interpreted as an octal number, whether or not it starts with the digit zero.
 Such options are always output in octal.
-.wen
 
 
 .section "Fixed point numbers" "SECID50"
 .cindex "fixed point configuration values"
 .cindex "format" "fixed point"
-.new
 If an option's type is given as &"fixed-point"&, its value must be a decimal
 integer, optionally followed by a decimal point and up to three further digits.
-.wen
 
 
 
@@ -4848,7 +4880,6 @@ is perfectly acceptable, for example, to specify &"90m"& instead of &"1h30m"&.
 .section "String values" "SECTstrings"
 .cindex "string" "format of configuration values"
 .cindex "format" "string"
-.new
 If an option's type is specified as &"string"&, the value can be specified with
 or without double-quotes. If it does not start with a double-quote, the value
 consists of the remainder of the line plus any continuation lines, starting at
@@ -4857,7 +4888,6 @@ removed, and with no interpretation of the characters in the string. Because
 Exim removes comment lines (those beginning with #) at an early stage, they can
 appear in the middle of a multi-line string. The following two settings are
 therefore equivalent:
-.wen
 .code
 trusted_users = uucp:mail
 trusted_users = uucp:\
@@ -4943,11 +4973,9 @@ list items, it is not ignored when parsing the list. The space after the first
 colon in the example above is necessary. If it were not there, the list would
 be interpreted as the two items 127.0.0.1:: and 1.
 
-.new
 .section "Changing list separators" "SECID53"
 .cindex "list separator" "changing"
 .cindex "IPv6" "addresses in lists"
-.wen
 Doubling colons in IPv6 addresses is an unwelcome chore, so a mechanism was
 introduced to allow the separator character to be changed. If a list begins
 with a left angle bracket, followed by any punctuation character, that
@@ -4960,9 +4988,8 @@ This facility applies to all lists, with the exception of the list in
 &%log_file_path%&. It is recommended that the use of non-colon separators be
 confined to circumstances where they really are needed.
 
-.new
 .cindex "list separator" "newline as"
-.cindex "newline as list separator"
+.cindex "newline" "as list separator"
 It is also possible to use newline and other control characters (those with
 code values less than 32, plus DEL) as separators in lists. Such separators
 must be provided literally at the time the list is processed. For options that
@@ -4984,7 +5011,6 @@ Unlike printing character separators, which can be included in list items by
 doubling, it is not possible to include a control character as data when it is
 set as the separator. Two such characters in succession are interpreted as
 enclosing an empty list item.
-.wen
 
 
 
@@ -5801,6 +5827,9 @@ This causes any temporarily failing address to be retried every 15 minutes for
 1.5 until 16 hours have passed, then every 6 hours up to 4 days. If an address
 is not delivered after 4 days of temporary failure, it is bounced.
 
+If the retry section is removed from the configuration, or is empty (that is,
+if no retry rules are defined), Exim will not retry deliveries. This turns
+temporary errors into permanent errors.
 
 
 .section "Rewriting configuration" "SECID58"
@@ -6128,10 +6157,12 @@ by default, but has an option to omit them (see section &<<SECTdbmbuild>>&).
 .next
 .cindex "lookup" "dsearch"
 .cindex "dsearch lookup type"
-&(dsearch)&: The given file must be a directory; this is searched for a file
-whose name is the key. The key may not contain any forward slash characters.
-The result of a successful lookup is the name of the file. An example of how
-this lookup can be used to support virtual domains is given in section
+&(dsearch)&: The given file must be a directory; this is searched for an entry
+whose name is the key by calling the &[lstat()]& function. The key may not
+contain any forward slash characters. If &[lstat()]& succeeds, the result of
+the lookup is the name of the entry, which may be a file, directory,
+symbolic link, or any other kind of directory entry. An example of how this
+lookup can be used to support virtual domains is given in section
 &<<SECTvirtualdomains>>&.
 .next
 .cindex "lookup" "iplsearch"
@@ -6351,7 +6382,6 @@ not likely to be useful in normal operation.
 .next
 .cindex "whoson lookup type"
 .cindex "lookup" "whoson"
-.new
 &(whoson)&: &'Whoson'& (&url(http://whoson.sourceforge.net)) is a protocol that
 allows a server to check whether a particular (dynamically allocated) IP
 address is currently allocated to a known (trusted) user and, optionally, to
@@ -6367,7 +6397,6 @@ The query consists of a single IP address. The value returned is the name of
 the authenticated user, which is stored in the variable &$value$&. However, in
 this example, the data in &$value$& is not used; the result of the lookup is
 one of the fixed strings &"yes"& or &"no"&.
-.wen
 .endlist
 
 
@@ -7079,6 +7108,14 @@ operator is to double any quote characters within the text.
 
 .section "SQL lookups" "SECTsql"
 .cindex "SQL lookup types"
+.cindex "MySQL" "lookup type"
+.cindex "PostgreSQL lookup type"
+.cindex "lookup" "MySQL"
+.cindex "lookup" "PostgreSQL"
+.cindex "Oracle" "lookup type"
+.cindex "lookup" "Oracle"
+.cindex "InterBase lookup type"
+.cindex "lookup" "InterBase"
 Exim can support lookups in InterBase, MySQL, Oracle, PostgreSQL, and SQLite
 databases. Queries for these databases contain SQL statements, so an example
 might be
@@ -7118,10 +7155,13 @@ with a newline between the data for each row.
 If any MySQL, PostgreSQL, Oracle, or InterBase lookups are used, the
 &%mysql_servers%&, &%pgsql_servers%&, &%oracle_servers%&, or &%ibase_servers%&
 option (as appropriate) must be set to a colon-separated list of server
-information. Each item in the list is a slash-separated list of four items:
-host name, database name, user name, and password. In the case of Oracle, the
-host name field is used for the &"service name"&, and the database name field
-is not used and should be empty. For example:
+information.
+&new("(For MySQL and PostgreSQL only, the global option need not be set if all
+queries contain their own server information &-- see section
+&<<SECTspeserque>>&.)") Each item in the list is a slash-separated list of four
+items: host name, database name, user name, and password. In the case of
+Oracle, the host name field is used for the &"service name"&, and the database
+name field is not used and should be empty. For example:
 .code
 hide oracle_servers = oracle.plc.example//userx/abcdwxyz
 .endd
@@ -7134,8 +7174,10 @@ hide mysql_servers = localhost/users/root/secret:\
 .endd
 For MySQL and PostgreSQL, a host may be specified as <&'name'&>:<&'port'&> but
 because this is a colon-separated list, the colon has to be doubled. For each
-query, these parameter groups are tried in order until a connection and a query
-succeeds.
+query, these parameter groups are tried in order until a connection is made and
+a query is successfully processed. The result of a query may be that no data is
+found, but that is still a successful query. In other words, the list of
+servers provides a backup facility, not a list of different places to look.
 
 The &%quote_mysql%&, &%quote_pgsql%&, and &%quote_oracle%& expansion operators
 convert newline, tab, carriage return, and backspace to \n, \t, \r, and \b
@@ -7145,6 +7187,46 @@ addition, escapes the percent and underscore characters. This cannot be done
 for MySQL because these escapes are not recognized in contexts where these
 characters are not special.
 
+.section "Specifying the server in the query" "SECTspeserque"
+For MySQL and PostgreSQL lookups (but not currently for Oracle and InterBase),
+it is possible to specify a list of servers with an individual query. This is
+done by starting the query with
+.display
+&`servers=`&&'server1:server2:server3:...'&&`;`&
+.endd
+Each item in the list may take one of two forms:
+.olist
+If it contains no slashes it is assumed to be just a host name. The appropriate
+global option (&%mysql_servers%& or &%pgsql_servers%&) is searched for a host
+of the same name, and the remaining parameters (database, user, password) are
+taken from there.
+.next
+If it contains any slashes, it is taken as a complete parameter set.
+.endlist
+The list of servers is used in exactly the same way as the global list.
+Once a connection to a server has happened and a query has been
+successfully executed, processing of the lookup ceases.
+
+This feature is intended for use in master/slave situations where updates
+are occurring and you want to update the master rather than a slave. If the
+master is in the list as a backup for reading, you might have a global setting
+like this:
+.code
+mysql_servers = slave1/db/name/pw:\
+                slave2/db/name/pw:\
+                master/db/name/pw
+.endd
+In an updating lookup, you could then write:
+.code
+${lookup mysql{servers=master; UPDATE ...}
+.endd
+That query would then be sent only to the master server. If, on the other hand,
+the master is not to be used for reading, and so is not present in the global
+option, you can still update it by a query of this form:
+.code
+${lookup pgsql{servers=master/db/name/pw; UPDATE ...}
+.endd
+
 
 .section "Special MySQL features" "SECID73"
 For MySQL, an empty host name or the use of &"localhost"& in &%mysql_servers%&
@@ -7502,7 +7584,7 @@ The following types of item may appear in domain lists:
 .ilist
 .cindex "primary host name"
 .cindex "host name" "matched in domain list"
-.cindex "&%primary_hostname%&"
+.oindex "&%primary_hostname%&"
 .cindex "domain list" "matching primary host name"
 .cindex "@ in a domain list"
 If a pattern consists of a single @ character, it matches the local host name,
@@ -7513,9 +7595,11 @@ differ only in their names.
 .cindex "@[] in a domain list"
 .cindex "domain list" "matching local IP interfaces"
 .cindex "domain literal"
-If a pattern consists of the string &`@[]`& it matches any local IP interface
-address, enclosed in square brackets, as in an email address that contains a
-domain literal.
+If a pattern consists of the string &`@[]`& it matches an IP address enclosed
+in square brackets (as in an email address that contains a domain literal), but
+only if that IP address is recognized as local for email routing purposes. The
+&%local_interfaces%& and &%extra_local_interfaces%& options can be used to
+control which of a host's several IP addresses are treated as local.
 In today's Internet, the use of domain literals is controversial.
 .next
 .cindex "@mx_any"
@@ -7524,7 +7608,7 @@ In today's Internet, the use of domain literals is controversial.
 .cindex "domain list" "matching MX pointers to local host"
 If a pattern consists of the string &`@mx_any`& it matches any domain that
 has an MX record pointing to the local host or to any host that is listed in
-.cindex "&%hosts_treat_as_local%&"
+.oindex "&%hosts_treat_as_local%&"
 &%hosts_treat_as_local%&. The items &`@mx_primary`& and &`@mx_secondary`&
 are similar, except that the first matches only when a primary MX target is the
 local host, and the second only when no primary MX target is the local host,
@@ -7583,8 +7667,10 @@ list item such as &`*key.ex`& matches &'donkey.ex'& as well as
 If a pattern starts with a circumflex character, it is treated as a regular
 expression, and matched against the domain using a regular expression matching
 function. The circumflex is treated as part of the regular expression.
-References to descriptions of the syntax of regular expressions are given in
-chapter &<<CHAPregexp>>&.
+Email domains are case-independent, so this regular expression match is by
+default case-independent, but you can make it case-dependent by starting it
+with &`(?-i)`&. References to descriptions of the syntax of regular expressions
+are given in chapter &<<CHAPregexp>>&.
 
 &*Warning*&: Because domain lists are expanded before being processed, you
 must escape any backslash and dollar characters in the regular expression, or
@@ -7825,11 +7911,23 @@ The IP address of the subject host is masked using <&'number'&> as the mask
 length. A textual string is constructed from the masked value, followed by the
 mask, and this is used as the lookup key. For example, if the host's IP address
 is 192.168.34.6, the key that is looked up for the above example is
-&"192.168.34.0/24"&. IPv6 addresses are converted to a text value using lower
-case letters and dots as separators instead of the more usual colon, because
-colon is the key terminator in &(lsearch)& files. Full, unabbreviated IPv6
+&"192.168.34.0/24"&.
+
+When an IPv6 address is converted to a string, dots are normally used instead
+of colons, so that keys in &(lsearch)& files need not contain colons (which
+terminate &(lsearch)& keys). This was implemented some time before the ability
+to quote keys was made available in &(lsearch)& files. However, the more
+recently implemented &(iplsearch)& files do require colons in IPv6 keys
+(notated using the quoting facility) so as to distinguish them from IPv4 keys.
+For this reason, when the lookup type is &(iplsearch)&, IPv6 addresses are
+converted using colons and not dots. In all cases, full, unabbreviated IPv6
 addresses are always used.
 
+Ideally, it would be nice to tidy up this anomalous situation by changing to
+colons in all cases, given that quoting is now available for &(lsearch)&.
+However, this would be an incompatible change that might break some existing
+configurations.
+
 &*Warning*&: Specifying &%net32-%& (for an IPv4 address) or &%net128-%& (for an
 IPv6 address) is not the same as specifying just &%net-%& without a number. In
 the former case the key strings include the mask value, whereas in the latter
@@ -7887,7 +7985,11 @@ expression.
 .cindex "regular expressions" "in host list"
 .cindex "host list" "regular expression in"
 If the item starts with &"^"& it is taken to be a regular expression which is
-matched against the host name. For example,
+matched against the host name. Host names are case-independent, so this regular
+expression match is by default case-independent, but you can make it
+case-dependent by starting it with &`(?-i)`&. References to descriptions of the
+syntax of regular expressions are given in chapter &<<CHAPregexp>>&. For
+example,
 .code
 ^(a|b)\.c\.d$
 .endd
@@ -7909,12 +8011,15 @@ required.
 
 
 .section "Behaviour when an IP address or name cannot be found" "SECTbehipnot"
-.cindex "host" "lookup failures"
+.cindex "host" "lookup failures, permanent"
 While processing a host list, Exim may need to look up an IP address from a
 name (see section &<<SECThoslispatip>>&), or it may need to look up a host name
 from an IP address (see section &<<SECThoslispatnam>>&). In either case, the
 behaviour when it fails to find the information it is seeking is the same.
 
+&*Note*&: This section applies to permanent lookup failures. It does &'not'&
+apply to temporary DNS errors, whose handling is described in the next section.
+
 .cindex "&`+include_unknown`&"
 .cindex "&`+ignore_unknown`&"
 By default, Exim behaves as if the host does not match the list. This may not
@@ -7948,15 +8053,23 @@ Both &`+include_unknown`& and &`+ignore_unknown`& may appear in the same
 list. The effect of each one lasts until the next, or until the end of the
 list.
 
-&*Note*&: This section applies to permanent lookup failures. It does &'not'&
-apply to temporary DNS errors. They always cause a defer action (except when
-&%dns_again_means_nonexist%& converts them into permanent errors).
+
+.section "Temporary DNS errors when looking up host information" &&&
+         "SECTtemdnserr"
+.cindex "host" "lookup failures, temporary"
+.cindex "&`+include_defer`&"
+.cindex "&`+ignore_defer`&"
+A temporary DNS lookup failure normally causes a defer action (except when
+&%dns_again_means_nonexist%& converts it into a permanent error). However,
+host lists can include &`+ignore_defer`& and &`+include_defer`&, analagous to
+&`+ignore_unknown`& and &`+include_unknown`&, as described in the previous
+section. These options should be used with care, probably only in non-critical
+host lists such as whitelists.
 
 
 
 .section "Host list patterns for single-key lookups by host name" &&&
          "SECThoslispatnamsk"
-.cindex "host" "lookup failures"
 .cindex "unknown host name"
 .cindex "host list" "matching host name"
 If a pattern is of the form
@@ -8432,6 +8545,10 @@ below. The operator notation is used for simple expansion items that have just
 one argument, because it reduces the number of braces and therefore makes the
 string easier to understand.
 
+.vitem &*$bheader_*&<&'header&~name'&>&*:*&&~or&~&*$bh_*&<&'header&~name'&>&*:*&
+This item inserts &"basic"& header lines. It is described with the &%header%&
+expansion item below.
+
 .vitem "&*${dlfunc{*&<&'file'&>&*}{*&<&'function'&>&*}{*&<&'arg'&>&*}&&&
        {*&<&'arg'&>&*}...}*&"
 .cindex &%dlfunc%&
@@ -8540,7 +8657,6 @@ yields &"99"&. Two successive separators mean that the field between them is
 empty (for example, the fifth field above).
 
 
-.new
 .vitem &*${filter{*&<&'string'&>&*}{*&<&'condition'&>&*}}*&
 .cindex "list" "selecting by condition"
 .cindex "expansion" "selecting from list by condition"
@@ -8557,7 +8673,6 @@ ${filter{a:b:c}{!eq{$item}{b}}
 .endd
 yields &`a:c`&. At the end of the expansion, the value of &$item$& is restored
 to what it was before. See also the &*map*& and &*reduce*& expansion items.
-.wen
 
 
 .vitem &*${hash{*&<&'string1'&>&*}{*&<&'string2'&>&*}{*&<&'string3'&>&*}}*&
@@ -8591,14 +8706,10 @@ letters appear. For example:
 .endd
 
 .vitem "&*$header_*&<&'header&~name'&>&*:*&&~or&~&&&
-        &*$h_*&<&'header&~name'&>&*:*&"
-See &*$rheader*& below.
-
-.vitem "&*$bheader_*&<&'header&~name'&>&*:*&&~or&~&&&
-        &*$bh_*&<&'header&~name'&>&*:*&"
-See &*$rheader*& below.
-
-.vitem "&*$rheader_*&<&'header&~name'&>&*:*&&~or&~&&&
+        &*$h_*&<&'header&~name'&>&*:*&" &&&
+       "&*$bheader_*&<&'header&~name'&>&*:*&&~or&~&&&
+        &*$bh_*&<&'header&~name'&>&*:*&" &&&
+       "&*$rheader_*&<&'header&~name'&>&*:*&&~or&~&&&
         &*$rh_*&<&'header&~name'&>&*:*&"
 .cindex "expansion" "header insertion"
 .vindex "&$header_$&"
@@ -8832,7 +8943,6 @@ ${lookup nisplus {[name=$local_part],passwd.org_dir:gcos} \
 .endd
 
 
-.new
 .vitem &*${map{*&<&'string1'&>&*}{*&<&'string2'&>&*}}*&
 .cindex "expansion" "list creation"
 .vindex "&$item$&"
@@ -8848,7 +8958,6 @@ ${map{a:b:c}{[$item]}} ${map{<- x-y-z}{($item)}}
 expands to &`[a]:[b]:[c] (x)-(y)-(z)`&. At the end of the expansion, the
 value of &$item$& is restored to what it was before. See also the &*filter*&
 and &*reduce*& expansion items.
-.wen
 
 .vitem &*${nhash{*&<&'string1'&>&*}{*&<&'string2'&>&*}{*&<&'string3'&>&*}}*&
 .cindex "expansion" "numeric hash"
@@ -9015,7 +9124,6 @@ The &(redirect)& router has an option called &%forbid_filter_readsocket%& which
 locks out the use of this expansion item in filter files.
 
 
-.new
 .vitem &*${reduce{*&<&'string1'&>}{<&'string2'&>&*}{*&<&'string3'&>&*}}*&
 .cindex "expansion" "reducing a list to a scalar"
 .cindex "list" "reducing to a scalar"
@@ -9041,9 +9149,8 @@ ${reduce {3:0:9:4:6}{0}{${if >{$item}{$value}{$item}{$value}}}}
 At the end of a &*reduce*& expansion, the values of &$item$& and &$value$& are
 restored to what they were before. See also the &*filter*& and &*map*&
 expansion items.
-.wen
 
-.vitem &*$rheader_*&<&'header&~name'&>&*:&~or&~$rh_*&<&'header&~name'&>&*:*&
+.vitem &*$rheader_*&<&'header&~name'&>&*:*&&~or&~&*$rh_*&<&'header&~name'&>&*:*&
 This item inserts &"raw"& header lines. It is described with the &%header%&
 expansion item above.
 
@@ -9211,7 +9318,6 @@ header line, and the effective address is extracted from it. If the string does
 not parse successfully, the result is empty.
 
 
-.new
 .vitem &*${addresses:*&<&'string'&>&*}*&
 .cindex "expansion" "RFC 2822 address handling"
 .cindex "&%addresses%& expansion item"
@@ -9232,11 +9338,10 @@ expands to &`ceo@up.stairs&&sec@base.ment`&. Compare the &*address*& (singular)
 expansion item, which extracts the working address from a single RFC2822
 address. See the &*filter*&, &*map*&, and &*reduce*& items for ways of
 processing lists.
-.wen
 
 
 .vitem &*${base62:*&<&'digits'&>&*}*&
-.cindex "&%base62%&"
+.cindex "&%base62%& expansion item"
 .cindex "expansion" "conversion to base 62"
 The string must consist entirely of decimal digits. The number is converted to
 base 62 and output as a string of six characters, including leading zeros. In
@@ -9246,7 +9351,7 @@ names), base 36 is used by this operator, despite its name. &*Note*&: Just to
 be absolutely clear: this is &'not'& base64 encoding.
 
 .vitem &*${base62d:*&<&'base-62&~digits'&>&*}*&
-.cindex "&%base62d%&"
+.cindex "&%base62d%& expansion item"
 .cindex "expansion" "conversion to base 62"
 The string must consist entirely of base-62 digits, or, in operating
 environments where Exim uses base 36 instead of base 62 for its message
@@ -9262,7 +9367,7 @@ from it. If the string does not parse successfully, the result is empty.
 
 .vitem &*${escape:*&<&'string'&>&*}*&
 .cindex "expansion" "escaping non-printing characters"
-.cindex "&%escape%&, expansion item"
+.cindex "&%escape%& expansion item"
 If the string contains any non-printing characters, they are converted to
 escape sequences starting with a backslash. Whether characters with the most
 significant bit set (so-called &"8-bit characters"&) count as printing or not
@@ -9347,7 +9452,7 @@ and then re-expands what it has found.
 .cindex "Unicode"
 .cindex "UTF-8" "conversion from"
 .cindex "expansion" "UTF-8 conversion"
-.cindex "&%from_utf8%&"
+.cindex "&%from_utf8%& expansion item"
 The world is slowly moving towards Unicode, although there are no standards for
 email yet. However, other applications (including some databases) are starting
 to store data in Unicode, using UTF-8 encoding. This operator converts from a
@@ -9381,7 +9486,7 @@ abbreviation &%h%& can be used when &%hash%& is used as an operator.
 .vitem &*${hex2b64:*&<&'hexstring'&>&*}*&
 .cindex "base64 encoding" "conversion from hex"
 .cindex "expansion" "hex to base64"
-.cindex "&%hex2b64%&"
+.cindex "&%hex2b64%& expansion item"
 This operator converts a hex string into one that is base64 encoded. This can
 be useful for processing the output of the MD5 and SHA-1 hashing functions.
 
@@ -9424,7 +9529,7 @@ empty.
 .cindex "IP address" "masking"
 .cindex "CIDR notation"
 .cindex "expansion" "IP address masking"
-.cindex "&%mask%&, expansion item"
+.cindex "&%mask%& expansion item"
 If the form of the string to be operated on is not an IP address followed by a
 slash and an integer (that is, a network address in CIDR notation), the
 expansion fails. Otherwise, this operator converts the IP address to binary,
@@ -9470,7 +9575,7 @@ See the description of the general &%nhash%& item above for details.
 .vitem &*${quote:*&<&'string'&>&*}*&
 .cindex "quoting" "in string expansions"
 .cindex "expansion" "quoting"
-.cindex "&%quote%&, expansion item"
+.cindex "&%quote%& expansion item"
 The &%quote%& operator puts its argument into double quotes if it
 is an empty string or
 contains anything other than letters, digits, underscores, dots, and hyphens.
@@ -9530,7 +9635,6 @@ string, using as many &"encoded words"& as necessary to encode all the
 characters.
 
 
-.new
 .vitem &*${rfc2047d:*&<&'string'&>&*}*&
 .cindex "expansion" "RFC 2047"
 .cindex "RFC 2047" "decoding"
@@ -9539,7 +9643,10 @@ This operator decodes strings that are encoded as per RFC 2047. Binary zero
 bytes are replaced by question marks. Characters are converted into the
 character set defined by &%headers_charset%&. Overlong RFC 2047 &"words"& are
 not recognized unless &%check_rfc2047_length%& is set false.
-.wen
+
+&*Note*&: If you use &%$header%&_&'xxx'&&*:*& (or &%$h%&_&'xxx'&&*:*&) to
+access a header line, RFC 2047 decoding is done automatically. You do not need
+to use this operator as well.
 
 
 
@@ -9804,7 +9911,6 @@ This condition, which has no data, is true during a message's first delivery
 attempt. It is false during any subsequent delivery attempts.
 
 
-.new
 .vitem "&*forall{*&<&'a list'&>&*}{*&<&'a condition'&>&*}*&" &&&
        "&*forany{*&<&'a list'&>&*}{*&<&'a condition'&>&*}*&"
 .cindex "list" "iterative conditions"
@@ -9834,7 +9940,6 @@ ${if forany{<, $recipients}{match{$item}{^user3@}}{yes}{no}}
 .endd
 The value of &$item$& is saved and restored while &*forany*& or &*forall*& is
 being processed, to enable these expansion items to be nested.
-.wen
 
 
 .vitem &*ge&~{*&<&'string1'&>&*}{*&<&'string2'&>&*}*& &&&
@@ -9869,13 +9974,22 @@ case-independent.
 .cindex "&%isip6%& expansion condition"
 The substring is first expanded, and then tested to see if it has the form of
 an IP address. Both IPv4 and IPv6 addresses are valid for &%isip%&, whereas
-&%isip4%& and &%isip6%& test just for IPv4 or IPv6 addresses, respectively. For
-example, you could use
+&%isip4%& and &%isip6%& test specifically for IPv4 or IPv6 addresses.
+
+For an IPv4 address, the test is for four dot-separated components, each of
+which consists of from one to three digits. For an IPv6 address, up to eight
+colon-separated components are permitted, each containing from one to four
+hexadecimal digits. There may be fewer than eight components if an empty
+component (adjacent colons) is present. Only one empty component is permitted.
+
+&*Note*&: The checks are just on the form of the address; actual numerical
+values are not considered. Thus, for example, 999.999.999.999 passes the IPv4
+check. The main use of these tests is to distinguish between IP addresses and
+host names, or between IPv4 and IPv6 addresses. For example, you could use
 .code
 ${if isip4{$sender_host_address}...
 .endd
-to test which version of IP an incoming SMTP connection is using.
-
+to test which IP version an incoming SMTP connection is using.
 
 .vitem &*ldapauth&~{*&<&'ldap&~query'&>&*}*&
 .cindex "LDAP" "use for authentication"
@@ -9919,7 +10033,7 @@ case-independent.
 .vitem &*match&~{*&<&'string1'&>&*}{*&<&'string2'&>&*}*&
 .cindex "expansion" "regular expression comparison"
 .cindex "regular expressions" "match in expanded string"
-.cindex "&%match%&, expansion condition"
+.cindex "&%match%& expansion condition"
 The two substrings are first expanded. The second is then treated as a regular
 expression and applied to the first. Because of the pre-expansion, if the
 regular expression contains dollar, or backslash characters, they must be
@@ -9988,7 +10102,6 @@ where the first item in the list is the empty string.
 .next
 The item @[] matches any of the local host's interface addresses.
 .next
-.new
 Single-key lookups are assumed to be like &"net-"& style lookups in host lists,
 even if &`net-`& is not specified. There is never any attempt to turn the IP
 address into a host name. The most common type of linear search for
@@ -10008,7 +10121,6 @@ just as easy to use the fact that a lookup is itself a condition, and write:
 .code
   ${lookup{${mask:$sender_host_address/24}}dbm{/a/file}...
 .endd
-.wen
 .endlist ilist
 
 Consult section &<<SECThoslispatip>>& for further details of these patterns.
@@ -10236,7 +10348,6 @@ support for TLS or the content scanning extension.
 .vlist
 .vitem "&$0$&, &$1$&, etc"
 .cindex "numerical variables (&$1$& &$2$& etc)"
-.new
 When a &%match%& expansion condition succeeds, these variables contain the
 captured substrings identified by the regular expression during subsequent
 processing of the success string of the containing &%if%& expansion item.
@@ -10246,9 +10357,7 @@ variables may also be set externally by some other matching process which
 precedes the expansion of the string. For example, the commands available in
 Exim filter files include an &%if%& command with its own regular expression
 matching condition.
-.wen
 
-.new
 .vitem "&$acl_c...$&"
 Values can be placed in these variables by the &%set%& modifier in an ACL. They
 can be given any name that starts with &$acl_c$& and is at least six characters
@@ -10269,7 +10378,6 @@ also reset by MAIL, RSET, EHLO, HELO, and after starting a TLS session. When a
 message is received, the values of these variables are saved with the message,
 and can be accessed by filters, routers, and transports during subsequent
 delivery.
-.wen
 
 .vitem &$acl_verify_message$&
 .vindex "&$acl_verify_message$&"
@@ -10448,25 +10556,19 @@ This variable is available when Exim is compiled with the
 content-scanning extension and the obsolete &%demime%& condition. For details,
 see section &<<SECTdemimecond>>&.
 
-
-.vitem &$dnslist_domain$&
-.cindex "black list (DNS)"
+.vitem &$dnslist_domain$& &&&
+       &$dnslist_matched$& &&&
+       &$dnslist_text$& &&&
+       &$dnslist_value$&
 .vindex "&$dnslist_domain$&"
-When a client host is found to be on a DNS (black) list,
-the list's domain name is put into this variable so that it can be included in
-the rejection message.
-
-.vitem &$dnslist_text$&
+.vindex "&$dnslist_matched$&"
 .vindex "&$dnslist_text$&"
-When a client host is found to be on a DNS (black) list, the
-contents of any associated TXT record are placed in this variable.
-
-.vitem &$dnslist_value$&
 .vindex "&$dnslist_value$&"
-When a client host is found to be on a DNS (black) list,
-the IP address from the resource record is placed in this variable.
-If there are multiple records, all the addresses are included, comma-space
-separated.
+.cindex "black list (DNS)"
+When a DNS (black) list lookup succeeds, these variables are set to contain
+the following data from the lookup: the list's domain name, the key that was
+looked up, the contents of any associated TXT record, and the value from the
+main A record. See section &<<SECID204>>& for more details.
 
 .vitem &$domain$&
 .vindex "&$domain$&"
@@ -10486,7 +10588,7 @@ at a time if the value of &$domain$& is required at transport time &-- this is
 the default for local transports. For further details of the environment in
 which local transports are run, see chapter &<<CHAPenvironment>>&.
 
-.cindex "&%delay_warning_condition%&"
+.oindex "&%delay_warning_condition%&"
 At the end of a delivery, if all deferred addresses have the same domain, it is
 set in &$domain$& during the expansion of &%delay_warning_condition%&.
 
@@ -10517,7 +10619,7 @@ recipient domain (which is what is in &$domain$& at this time).
 
 .next
 .cindex "ETRN" "value of &$domain$&"
-.cindex "&%smtp_etrn_command%&"
+.oindex "&%smtp_etrn_command%&"
 When the &%smtp_etrn_command%& option is being expanded, &$domain$& contains
 the complete argument of the ETRN command (see section &<<SECTETRN>>&).
 .endlist
@@ -10657,14 +10759,12 @@ This is an obsolete name for &$received_ip_address$&.
 .vindex "&$interface_port$&"
 This is an obsolete name for &$received_port$&.
 
-.new
 .vitem &$item$&
 .vindex "&$item$&"
 This variable is used during the expansion of &*forall*& and &*forany*&
 conditions (see section &<<SECTexpcond>>&), and &*filter*&, &*man*&, and
 &*reduce*& items (see section &<<SECTexpcond>>&). In other circumstances, it is
 empty.
-.wen
 
 .vitem &$ldap_dn$&
 .vindex "&$ldap_dn$&"
@@ -10674,7 +10774,7 @@ lookup.
 
 .vitem &$load_average$&
 .vindex "&$load_average$&"
-This variable contains the system load average, multiplied by 1000 to that it
+This variable contains the system load average, multiplied by 1000 so that it
 is an integer. For example, if the load average is 0.21, the value of the
 variable is 210. The value is recomputed every time the variable is referenced.
 
@@ -10810,6 +10910,13 @@ This variable is available when Exim is compiled with the
 content-scanning extension. It is set to the name of the virus that was found
 when the ACL &%malware%& condition is true (see section &<<SECTscanvirus>>&).
 
+.vitem &$max_received_linelength$&
+.vindex "&$max_received_linelength$&"
+.cindex "maximum" "line length"
+.cindex "line length" "maximum"
+This variable contains the number of bytes in the longest line that was
+received as part of the message, not counting the line termination
+character(s).
 
 .vitem &$message_age$&
 .cindex "message" "age of"
@@ -10823,13 +10930,17 @@ delivery attempt.
 .cindex "message body" "in expansion"
 .cindex "binary zero" "in message body"
 .vindex "&$message_body$&"
-This variable contains the initial portion of a message's
-body while it is being delivered, and is intended mainly for use in filter
-files. The maximum number of characters of the body that are put into the
-variable is set by the &%message_body_visible%& configuration option; the
-default is 500. Newlines are converted into spaces to make it easier to search
-for phrases that might be split over a line break.
-Binary zeros are also converted into spaces.
+.oindex "&%message_body_visible%&"
+This variable contains the initial portion of a message's body while it is
+being delivered, and is intended mainly for use in filter files. The maximum
+number of characters of the body that are put into the variable is set by the
+&%message_body_visible%& configuration option; the default is 500.
+
+.oindex "&%message_body_newlines%&"
+By default, newlines are converted into spaces in &$message_body$&, to make it
+easier to search for phrases that might be split over a line break. However,
+this can be disabled by setting &%message_body_newlines%& to be true. Binary
+zeros are always converted into spaces.
 
 .vitem &$message_body_end$&
 .cindex "body of message" "expansion variable"
@@ -11172,9 +11283,7 @@ is, the ACLs defined by &%acl_smtp_predata%&, &%acl_smtp_data%&,
 &%acl_smtp_mime%&, &%acl_not_smtp_start%&, &%acl_not_smtp%&, and
 &%acl_not_smtp_mime%&.
 .next
-.new
 From within a &[local_scan()]& function.
-.wen
 .endlist
 
 
@@ -11228,7 +11337,7 @@ reliably expect to set &$runrc$& by the expansion of one option, and use it in
 another.
 
 .vitem &$self_hostname$&
-.cindex "&%self%& option" "value of host name"
+.oindex "&%self%&" "value of host name"
 .vindex "&$self_hostname$&"
 When an address is routed to a supposedly remote host that turns out to be the
 local host, what happens is controlled by the &%self%& generic router option.
@@ -11406,7 +11515,6 @@ In an ACL, when a sender verification fails, this variable contains information
 about the failure. The details are the same as for
 &$recipient_verify_failure$&.
 
-.new
 .vitem &$sending_ip_address$&
 .vindex "&$sending_ip_address$&"
 This variable is set whenever an outgoing SMTP connection to another host has
@@ -11420,7 +11528,6 @@ connections, see &$received_ip_address$&.
 This variable is set whenever an outgoing SMTP connection to another host has
 been set up. It contains the local port that is being used. For incoming
 connections, see &$received_port$&.
-.wen
 
 .vitem &$smtp_active_hostname$&
 .vindex "&$smtp_active_hostname$&"
@@ -11451,7 +11558,6 @@ argument, that is, the text that follows the command name, with leading white
 space removed. Following the introduction of &$smtp_command$&, this variable is
 somewhat redundant, but is retained for backwards compatibility.
 
-.new
 .vitem &$smtp_count_at_connection_start$&
 .vindex "&$smtp_count_at_connection_start$&"
 This variable is set greater than zero only in processes spawned by the Exim
@@ -11463,7 +11569,6 @@ never changes. It is only an approximation of how many incoming connections
 there actually are, because many other connections may come and go while a
 single connection is being processed. When a child process terminates, the
 daemon decrements its copy of the variable.
-.wen
 
 .vitem "&$sn0$& &-- &$sn9$&"
 These variables are copies of the values of the &$n0$& &-- &$n9$& accumulators
@@ -11520,15 +11625,25 @@ message was received, and &"0"& otherwise.
 When a message is received from a remote host over an encrypted SMTP
 connection, this variable is set to the cipher suite that was negotiated, for
 example DES-CBC3-SHA. In other circumstances, in particular, for message
-received over unencrypted connections, the variable is empty. See chapter
-&<<CHAPTLS>>& for details of TLS support.
+received over unencrypted connections, the variable is empty. Testing
+&$tls_cipher$& for emptiness is one way of distinguishing between encrypted and
+non-encrypted connections during ACL processing.
+
+The &$tls_cipher$& variable retains its value during message delivery, except
+when an outward SMTP delivery takes place via the &(smtp)& transport. In this
+case, &$tls_cipher$& is cleared before any outgoing SMTP connection is made,
+and then set to the outgoing cipher suite if one is negotiated. See chapter
+&<<CHAPTLS>>& for details of TLS support and chapter &<<CHAPsmtptrans>>& for
+details of the &(smtp)& transport.
 
 .vitem &$tls_peerdn$&
 .vindex "&$tls_peerdn$&"
 When a message is received from a remote host over an encrypted SMTP
 connection, and Exim is configured to request a certificate from the client,
 the value of the Distinguished Name of the certificate is made available in the
-&$tls_peerdn$& during subsequent processing.
+&$tls_peerdn$& during subsequent processing. &new("Like &$tls_cipher$&, the
+value is retained during message delivery, except during outbound SMTP
+deliveries.")
 
 .vitem &$tod_bsdinbox$&
 .vindex "&$tod_bsdinbox$&"
@@ -11570,8 +11685,8 @@ by ISO 8601, for example: 20030221154023Z.
 .vitem &$value$&
 .vindex "&$value$&"
 This variable contains the result of an expansion lookup, extraction operation,
-or external command, as described above. &new("It is also used during a
-&*reduce*& expansion.")
+or external command, as described above. It is also used during a
+&*reduce*& expansion.
 
 .vitem &$version_number$&
 .vindex "&$version_number$&"
@@ -11608,7 +11723,7 @@ in your &_Local/Makefile_& and then build Exim in the normal way.
 
 
 .section "Setting up so Perl can be used" "SECID85"
-.cindex "&%perl_startup%&"
+.oindex "&%perl_startup%&"
 Access to Perl subroutines is via a global configuration option called
 &%perl_startup%& and an expansion string operator &%${perl ...}%&. If there is
 no &%perl_startup%& option in the Exim configuration file then no Perl
@@ -11634,7 +11749,7 @@ the interpreter is started only when it is needed, but this can be changed in
 two ways:
 
 .ilist
-.cindex "&%perl_at_start%&"
+.oindex "&%perl_at_start%&"
 Setting &%perl_at_start%& (a boolean option) in the configuration requests
 a startup when Exim is entered.
 .next
@@ -12071,6 +12186,7 @@ listed in more than one group.
 .row &%disable_ipv6%&                "do no IPv6 processing"
 .row &%keep_malformed%&              "for broken files &-- should not happen"
 .row &%localhost_number%&            "for unique message ids in clusters"
+.row &new(&%message_body_newlines%&) "retain newlines in &$message_body$&"
 .row &%message_body_visible%&        "how much to show in &$message_body$&"
 .row &%mua_wrapper%&                 "run in &""MUA wrapper""& mode"
 .row &%print_topbitchars%&           "top-bit characters are printing"
@@ -12137,12 +12253,13 @@ listed in more than one group.
 
 .section "Data lookups" "SECID101"
 .table2
+.row &new(&%ibase_servers%&)         "InterBase servers"
 .row &%ldap_default_servers%&        "used if no server in query"
 .row &%ldap_version%&                "set protocol version"
 .row &%lookup_open_max%&             "lookup files held open"
-.row &%mysql_servers%&               "as it says"
-.row &%oracle_servers%&              "as it says"
-.row &%pgsql_servers%&               "as it says"
+.row &new(&%mysql_servers%&)               "default MySQL servers"
+.row &new(&%oracle_servers%&)              "Oracle servers"
+.row &new(&%pgsql_servers%&)               "default PostgreSQL servers"
 .row &%sqlite_lock_timeout%&         "as it says"
 .endtable
 
@@ -12185,6 +12302,7 @@ listed in more than one group.
 .row &%check_spool_space%&           "before accepting a message"
 .row &%deliver_queue_load_max%&      "no queue deliveries if load high"
 .row &%queue_only_load%&             "queue incoming if load high"
+.row &new(&%queue_only_load_latch%&) "don't re-evaluate load for each message"
 .row &%queue_run_max%&               "maximum simultaneous queue runners"
 .row &%remote_max_parallel%&         "parallel SMTP delivery per message"
 .row &%smtp_accept_max%&             "simultaneous incoming connections"
@@ -12263,9 +12381,9 @@ listed in more than one group.
 
 .section "TLS" "SECID108"
 .table2
-.row &new(&%gnutls_require_kx%&)           "control GnuTLS key exchanges"
-.row &new(&%gnutls_require_mac%&)          "control GnuTLS MAC algorithms"
-.row &new(&%gnutls_require_protocols%&)    "control GnuTLS protocols"
+.row &%gnutls_require_kx%&           "control GnuTLS key exchanges"
+.row &%gnutls_require_mac%&          "control GnuTLS MAC algorithms"
+.row &%gnutls_require_protocols%&    "control GnuTLS protocols"
 .row &%tls_advertise_hosts%&         "advertise TLS to these hosts"
 .row &%tls_certificate%&             "location of server certificate"
 .row &%tls_crl%&                     "certificate revocation list"
@@ -12419,6 +12537,7 @@ See also the &'Policy controls'& section above.
 .row &%queue_only%&                  "no immediate delivery at all"
 .row &%queue_only_file%&             "no immediate delivery if file exists"
 .row &%queue_only_load%&             "no immediate delivery if load is high"
+.row &new(&%queue_only_load_latch%&) "don't re-evaluate load for each message"
 .row &%queue_only_override%&         "allow command line to override"
 .row &%queue_run_in_order%&          "order of arrival"
 .row &%queue_run_max%&               "of simultaneous queue runners"
@@ -12439,7 +12558,7 @@ See also the &'Policy controls'& section above.
 .row &%bounce_return_message%&       "include original message in bounce"
 .row &%bounce_return_size_limit%&    "limit on returned message"
 .row &%bounce_sender_authentication%& "send authenticated sender with bounce"
-.row &new(&%dsn_from%&)                    "set &'From:'& contents in bounces"
+.row &%dsn_from%&                    "set &'From:'& contents in bounces"
 .row &%errors_copy%&                 "copy bounce messages"
 .row &%errors_reply_to%&             "&'Reply-to:'& in bounces"
 .row &%delay_warning%&               "time schedule"
@@ -12941,8 +13060,7 @@ should not be present in incoming messages, and this option causes them to be
 removed at the time the message is received, to avoid any problems that might
 occur when a delivered message is subsequently sent on to some other recipient.
 
-.new
-.option disable_fnync main boolean false
+.option disable_fsync main boolean false
 .cindex "&[fsync()]&, disabling"
 This option is available only if Exim was built with the compile-time option
 ENABLE_DISABLE_FSYNC. When this is not set, a reference to &%disable_fsync%& in
@@ -12955,7 +13073,6 @@ When &%disable_fsync%& is set true, Exim no longer calls &[fsync()]& to force
 updated files' data to be written to disc before continuing. Unexpected events
 such as crashes and power outages may cause data to be lost or scrambled.
 Here be Dragons. &*Beware.*&
-.wen
 
 
 .option disable_ipv6 main boolean false
@@ -13001,7 +13118,7 @@ dns_check_names_pattern = \
   (?i)^(?>(?(1)\.|())[^\W_](?>[a-z0-9/-]*[^\W_])?)+$
 .endd
 which permits only letters, digits, slashes, and hyphens in components, but
-they must start and end with a letter or digit. Hyphens are not, in fact,
+they must start and end with a letter or digit. &new(Slashes) are not, in fact,
 permitted in host names, but they are found in certain NS records (which can be
 accessed in Exim by using a &%dnsdb%& lookup). If you set
 &%allow_utf8_domains%&, you must modify this pattern, or set the option to an
@@ -13051,7 +13168,6 @@ This is an obsolete option that is now a no-op. It used to affect the way Exim
 handled CR and LF characters in incoming messages. What happens now is
 described in section &<<SECTlineendings>>&.
 
-.new
 .option dsn_from main "string&!!" "see below"
 .cindex "&'From:'& header line" "in bounces"
 .cindex "bounce messages" "&'From:'& line, specifying"
@@ -13063,7 +13179,6 @@ dsn_from = Mail Delivery System <Mailer-Daemon@$qualify_domain>
 .endd
 The value is expanded every time it is needed. If the expansion fails, a
 panic is logged, and the default value is used.
-.wen
 
 .option envelope_to_remove main boolean true
 .cindex "&'Envelope-to:'& header line"
@@ -13174,9 +13289,11 @@ routing, but which are not used for listening by the daemon. See section
 &<<SECTreclocipadd>>& for details.
 
 
-. Allow this long option name to split
+. Allow this long option name to split; give it unsplit as a fifth argument
+. for the automatic .oindex that is generated by .option.
 
-.option "extract_addresses_remove_ &~&~arguments" main boolean true
+.option "extract_addresses_remove_ &~&~arguments" main boolean true &&&
+         extract_addresses_remove_arguments
 .oindex "&%-t%&"
 .cindex "command line" "addresses with &%-t%&"
 .cindex "Sendmail compatibility" "&%-t%& option"
@@ -13254,7 +13371,6 @@ gecos_name = $1
 See &%gecos_name%& above.
 
 
-.new
 .option gnutls_require_kx main string unset
 This option controls the key exchange mechanisms when GnuTLS is used in an Exim
 server. For details, see section &<<SECTreqciphgnu>>&.
@@ -13266,7 +13382,6 @@ server. For details, see section &<<SECTreqciphgnu>>&.
 .option gnutls_require_protocols main string unset
 This option controls the protocols when GnuTLS is used in an Exim
 server. For details, see section &<<SECTreqciphgnu>>&.
-.wen
 
 
 .option headers_charset main string "see below"
@@ -13487,6 +13602,14 @@ chapter &<<CHAPinterfaces>>&, which contains a discussion about local network
 interfaces and recognizing the local host.
 
 
+.option ibase_servers main "string list" unset
+.cindex "InterBase" "server list"
+This option provides a list of InterBase servers and associated connection data,
+to be used in conjunction with &(ibase)& lookups (see section &<<SECID72>>&).
+The option is available only if Exim has been built with InterBase support.
+
+
+
 .option ignore_bounce_errors_after main time 10w
 .cindex "bounce message" "discarding"
 .cindex "discarding bounce message"
@@ -13737,6 +13860,15 @@ this option is set greater than zero, any attempt to call &[getpwnam()]& with
 an argument that is longer behaves as if &[getpwnam()]& failed.
 
 
+.option message_body_newlines main bool false
+.cindex "message body" "newlines in variables"
+.cindex "newline" "in message body variables"
+.vindex "&$message_body$&"
+.vindex "&$message_body_end$&"
+By default, newlines in the message body are replaced by spaces when setting
+the &$message_body$& and &$message_body_end$& expansion variables. If this
+option is set true, this no longer happens.
+
 
 .option message_body_visible main integer 500
 .cindex "body of message" "visible size"
@@ -13831,7 +13963,7 @@ contains a full description of this facility.
 .option mysql_servers main "string list" unset
 .cindex "MySQL" "server list"
 This option provides a list of MySQL servers and associated connection data, to
-be used in conjunction with &(mysql)& lookups (see section &<<SECTsql>>&). The
+be used in conjunction with &(mysql)& lookups (see section &<<SECID72>>&). The
 option is available only if Exim has been built with MySQL support.
 
 
@@ -13862,7 +13994,7 @@ transport driver.
 .option oracle_servers main "string list" unset
 .cindex "Oracle" "server list"
 This option provides a list of Oracle servers and associated connection data,
-to be used in conjunction with &(oracle)& lookups (see section &<<SECTsql>>&).
+to be used in conjunction with &(oracle)& lookups (see section &<<SECID72>>&).
 The option is available only if Exim has been built with Oracle support.
 
 
@@ -13901,7 +14033,7 @@ interpreter. See chapter &<<CHAPperl>>& for details of its use.
 .cindex "PostgreSQL lookup type" "server list"
 This option provides a list of PostgreSQL servers and associated connection
 data, to be used in conjunction with &(pgsql)& lookups (see section
-&<<SECTsql>>&). The option is available only if Exim has been built with
+&<<SECID72>>&). The option is available only if Exim has been built with
 PostgreSQL support.
 
 
@@ -13924,8 +14056,8 @@ of the &%-oX%& option, unless a path is explicitly supplied by &%-oP%&.
 .option pipelining_advertise_hosts main "host list&!!" *
 .cindex "PIPELINING" "suppressing advertising"
 This option can be used to suppress the advertisement of the SMTP
-PIPELINING extension to specific hosts. &new("See also the &*no_pipelining*&
-control in section &<<SECTcontrols>>&.") When PIPELINING is not advertised and
+PIPELINING extension to specific hosts. See also the &*no_pipelining*&
+control in section &<<SECTcontrols>>&. When PIPELINING is not advertised and
 &%smtp_enforce_sync%& is true, an Exim server enforces strict synchronization
 for each SMTP command and response. When PIPELINING is advertised, Exim assumes
 that clients will use it; &"out of order"& commands that are &"expected"& do
@@ -14077,11 +14209,29 @@ causes Exim to behave as if &%queue_smtp_domains%& were set to &"*"& whenever
 .cindex "message" "queueing by load"
 If the system load average is higher than this value, incoming messages from
 all sources are queued, and no automatic deliveries are started. If this
-happens during local or remote SMTP input, all subsequent messages on the same
-connection are queued. Deliveries will subsequently be performed by queue
-runner processes. This option has no effect on ancient operating systems on
-which Exim cannot determine the load average. See also
-&%deliver_queue_load_max%& and &%smtp_load_reserve%&.
+happens during local or remote SMTP input, all subsequent messages received on
+the same SMTP connection are queued by default, whatever happens to the load in
+the meantime, but this can be changed by setting &%queue_only_load_latch%&
+false.
+
+Deliveries will subsequently be performed by queue runner processes. This
+option has no effect on ancient operating systems on which Exim cannot
+determine the load average. See also &%deliver_queue_load_max%& and
+&%smtp_load_reserve%&.
+
+
+.option queue_only_load_latch main boolean true
+.cindex "load average" "re-evaluating per message"
+When this option is true (the default), once one message has been queued
+because the load average is higher than the value set by &%queue_only_load%&,
+all subsequent messages received on the same SMTP connection are also queued.
+This is a deliberate choice; even though the load average may fall below the
+threshold, it doesn't seem right to deliver later messages on the same
+connection when not delivering earlier ones. However, there are special
+circumstances such as very long-lived connections from scanning appliances
+where this is not the best strategy. In such cases, &%queue_only_load_latch%&
+should be set false. This causes the value of the load average to be
+re-evaluated for each message.
 
 
 .option queue_only_override main boolean true
@@ -14375,12 +14525,10 @@ value is set to zero, no limit is applied. However, it is required to be
 non-zero if either &%smtp_accept_max_per_host%& or &%smtp_accept_queue%& is
 set. See also &%smtp_accept_reserve%& and &%smtp_load_reserve%&.
 
-.new
 A new SMTP connection is immediately rejected if the &%smtp_accept_max%& limit
 has been reached. If not, Exim first checks &%smtp_accept_max_per_host%&. If
 that limit has not been reached for the client host, &%smtp_accept_reserve%&
 and &%smtp_load_reserve%& are then checked before accepting the connection.
-.wen
 
 
 .option smtp_accept_max_nonmail main integer 10
@@ -14409,9 +14557,11 @@ changing the value, you can exclude any badly-behaved hosts that you have to
 live with.
 
 
-. Allow this long option to split
+. Allow this long option name to split; give it unsplit as a fifth argument
+. for the automatic .oindex that is generated by .option.
 
-.option "smtp_accept_max_per_ &~&~connection" main integer 1000
+.option "smtp_accept_max_per_ &~&~connection" main integer 1000 &&&
+         smtp_accept_max_per_connection
 .cindex "SMTP" "limiting incoming message count"
 .cindex "limit" "messages per SMTP connection"
 The value of this option limits the number of MAIL commands that Exim is
@@ -14425,7 +14575,6 @@ seen).
 .option smtp_accept_max_per_host main string&!! unset
 .cindex "limit" "SMTP connections from one host"
 .cindex "host" "limiting SMTP connections from"
-.new
 This option restricts the number of simultaneous IP connections from a single
 host (strictly, from a single IP address) to the Exim daemon. The option is
 expanded, to enable different limits to be applied to different hosts by
@@ -14434,7 +14583,6 @@ connection attempts from the same host are rejected with error code 421. This
 is entirely independent of &%smtp_accept_reserve%&. The option's default value
 of zero imposes no limit. If this option is set greater than zero, it is
 required that &%smtp_accept_max%& be non-zero.
-.wen
 
 &*Warning*&: When setting this option you should not use any expansion
 constructions that take an appreciable amount of time. The expansion and test
@@ -14449,18 +14597,24 @@ doing this processing, it cannot accept any other incoming connections.
 .cindex "SMTP" "incoming connection count"
 .cindex "queueing incoming messages"
 .cindex "message" "queueing by SMTP connection count"
-If the number of simultaneous incoming SMTP calls handled via the listening
-daemon exceeds this value, messages received by SMTP are just placed on the
-queue; no delivery processes are started automatically. A value of zero implies
-no limit, and clearly any non-zero value is useful only if it is less than the
-&%smtp_accept_max%& value (unless that is zero). See also &%queue_only%&,
-&%queue_only_load%&, &%queue_smtp_domains%&, and the various &%-od%&&'x'&
-command line options.
+If the number of simultaneous incoming SMTP connections being handled via the
+listening daemon exceeds this value, messages received by SMTP are just placed
+on the queue; no delivery processes are started automatically. The count is
+fixed at the start of an SMTP connection. It cannot be updated in the
+subprocess that receives messages, and so the queueing or not queueing applies
+to all messages received in the same connection.
+
+A value of zero implies no limit, and clearly any non-zero value is useful only
+if it is less than the &%smtp_accept_max%& value (unless that is zero). See
+also &%queue_only%&, &%queue_only_load%&, &%queue_smtp_domains%&, and the
+various &%-od%&&'x'& command line options.
 
 
-. Allow this long option name to split
+. Allow this long option name to split; give it unsplit as a fifth argument
+. for the automatic .oindex that is generated by .option.
 
-.option "smtp_accept_queue_per_ &~&~connection" main integer 10
+.option "smtp_accept_queue_per_ &~&~connection" main integer 10 &&&
+         smtp_accept_queue_per_connection
 .cindex "queueing incoming messages"
 .cindex "message" "queueing by message count"
 This option limits the number of delivery processes that Exim starts
@@ -14483,14 +14637,14 @@ that are specified in &%smtp_reserve_hosts%&. The value set in
 &%smtp_accept_max%& includes this reserve pool. The specified hosts are not
 restricted to this number of connections; the option specifies a minimum number
 of connection slots for them, not a maximum. It is a guarantee that this group
-of hosts can always get at least &%smtp_accept_reserve%& connections.
-&new("However, the limit specified by &%smtp_accept_max_per_host%& is still
-applied to each individual host.")
+of hosts can always get at least &%smtp_accept_reserve%& connections. However,
+the limit specified by &%smtp_accept_max_per_host%& is still applied to each
+individual host.
 
 For example, if &%smtp_accept_max%& is set to 50 and &%smtp_accept_reserve%& is
 set to 5, once there are 45 active connections (from any hosts), new
 connections are accepted only from hosts listed in &%smtp_reserve_hosts%&,
-&new("provided the other criteria for acceptance are met.")
+provided the other criteria for acceptance are met.
 
 
 .option smtp_active_hostname main string&!! unset
@@ -15100,14 +15254,18 @@ option must be set to the name of a single file if you are using GnuTLS.
 .cindex "TLS" "client certificate verification"
 .cindex "certificate" "verification of client"
 This option, along with &%tls_try_verify_hosts%&, controls the checking of
-certificates from clients.
-The expected certificates are defined by &%tls_verify_certificates%&, which
-must be set. A configuration error occurs if either &%tls_verify_hosts%& or
-&%tls_try_verify_hosts%& is set and &%tls_verify_certificates%& is not set.
+certificates from clients. The expected certificates are defined by
+&%tls_verify_certificates%&, which must be set. A configuration error occurs if
+either &%tls_verify_hosts%& or &%tls_try_verify_hosts%& is set and
+&%tls_verify_certificates%& is not set.
 
 Any client that matches &%tls_verify_hosts%& is constrained by
-&%tls_verify_certificates%&. The client must present one of the listed
-certificates. If it does not, the connection is aborted.
+&%tls_verify_certificates%&. When the client initiates a TLS session, it must
+present one of the listed certificates. If it does not, the connection is
+aborted. &*Warning*&: Including a host in &%tls_verify_hosts%& does not require
+the host to use TLS. It can still send SMTP commands through unencrypted
+connections. Forcing a client to use TLS has to be done separately using an
+ACL to reject inappropriate commands when the connection is not encrypted.
 
 A weaker form of checking is provided by &%tls_try_verify_hosts%&. If a client
 matches this option (but not &%tls_verify_hosts%&), Exim requests a
@@ -15312,15 +15470,13 @@ file = ${extract{mailbox}{$address_data}}
 This makes the configuration file less messy, and also reduces the number of
 lookups (though Exim does cache lookups).
 
-The &%address_data%& facility is also useful as a means of passing information
-from one router to another, and from a router to a transport. In addition, if
-
 .vindex "&$sender_address_data$&"
 .vindex "&$address_data$&"
-When &$address_data$& is set by a router when verifying a recipient address
-from an ACL, it remains available for use in the rest of the ACL statement.
-After verifying a sender, the value is transferred to &$sender_address_data$&.
-
+The &%address_data%& facility is also useful as a means of passing information
+from one router to another, and from a router to a transport. In addition, if
+&$address_data$& is set by a router when verifying a recipient address from an
+ACL, it remains available for use in the rest of the ACL statement. After
+verifying a sender, the value is transferred to &$sender_address_data$&.
 
 
 
@@ -15622,8 +15778,16 @@ failures are treated as configuration errors.
 &*Warning 1*&: The &%headers_add%& option cannot be used for a &(redirect)&
 router that has the &%one_time%& option set.
 
+.cindex "duplicate addresses"
+.oindex "&%unseen%&"
 &*Warning 2*&: If the &%unseen%& option is set on the router, all header
 additions are deleted when the address is passed on to subsequent routers.
+For a &%redirect%& router, if a generated address is the same as the incoming
+address, this can lead to duplicate addresses with different header
+modifications. Exim does not do duplicate deliveries (except, in certain
+circumstances, to pipes -- see section &<<SECTdupaddr>>&), but it is undefined
+which of the duplicates is discarded, so this ambiguous situation should be
+avoided. The &%repeat_use%& option of the &%redirect%& router may be of help.
 
 
 
@@ -15649,7 +15813,8 @@ router that has the &%one_time%& option set.
 
 &*Warning 2*&: If the &%unseen%& option is set on the router, all header
 removal requests are deleted when the address is passed on to subsequent
-routers.
+routers, and this can lead to problems with duplicates -- see the similar
+warning for &%headers_add%& above.
 
 
 .option ignore_target_hosts routers "host list&!!" unset
@@ -15751,6 +15916,13 @@ real_localuser:
   check_local_user
   transport = local_delivery
 .endd
+For security, it would probably be a good idea to restrict the use of this
+router to locally-generated messages, using a condition such as this:
+.code
+  condition = ${if match {$sender_host_address}\
+                         {\N^(|127\.0\.0\.1)$\N}}
+.endd
+
 If both &%local_part_prefix%& and &%local_part_suffix%& are set for a router,
 both conditions must be met if not optional. Care must be taken if wildcards
 are used in both a prefix and a suffix on the same router. Different
@@ -15828,7 +16000,7 @@ delivery to be deferred.
 
 If this option is set false, and the router declines to handle the address, no
 further routers are tried, routing fails, and the address is bounced.
-.cindex "&%self%& option"
+.oindex "&%self%&"
 However, if the router explicitly passes an address to the following router by
 means of the setting
 .code
@@ -15860,12 +16032,15 @@ applies to all of them.
 
 .option pass_router routers string unset
 .cindex "router" "go to after &""pass""&"
-When a router returns &"pass"&, the address is normally handed on to the next
+Routers that recognize the generic &%self%& option (&(dnslookup)&,
+&(ipliteral)&, and &(manualroute)&) are able to return &"pass"&, forcing
+routing to continue, and overriding a false setting of &%more%&. When one of
+these routers returns &"pass"&, the address is normally handed on to the next
 router in sequence. This can be changed by setting &%pass_router%& to the name
 of another router. However (unlike &%redirect_router%&) the named router must
 be below the current router, to avoid loops. Note that this option applies only
 to the special case of &"pass"&. It does not apply when a router returns
-&"decline"&.
+&"decline"& because it cannot handle an address.
 
 
 
@@ -16064,7 +16239,7 @@ reprocessed by the routers. Any headers that contain the original domain are
 rewritten.
 
 .vitem &%pass%&
-.cindex "&%more%& option"
+.oindex "&%more%&"
 .vindex "&$self_hostname$&"
 The router passes the address to the next router, or to the router named in the
 &%pass_router%& option if it is set. This overrides &%no_more%&. During
@@ -16217,21 +16392,28 @@ the value of &%unseen%& contains expansion items (and therefore, presumably, is
 sometimes true and sometimes false).
 
 .cindex "copy of message (&%unseen%& option)"
-The &%unseen%& option can be used to cause copies of messages to be delivered
-to some other destination, while also carrying out a normal delivery. In
-effect, the current address is made into a &"parent"& that has two children &--
-one that is delivered as specified by this router, and a clone that goes on to
-be routed further. For this reason, &%unseen%& may not be combined with the
+Setting the &%unseen%& option has a similar effect to the &%unseen%& command
+qualifier in filter files. It can be used to cause copies of messages to be
+delivered to some other destination, while also carrying out a normal delivery.
+In effect, the current address is made into a &"parent"& that has two children
+&-- one that is delivered as specified by this router, and a clone that goes on
+to be routed further. For this reason, &%unseen%& may not be combined with the
 &%one_time%& option in a &(redirect)& router.
 
 &*Warning*&: Header lines added to the address (or specified for removal) by
 this router or by previous routers affect the &"unseen"& copy of the message
 only. The clone that continues to be processed by further routers starts with
-no added headers and none specified for removal. However, any data that was set
-by the &%address_data%& option in the current or previous routers is passed on.
-Setting the &%unseen%& option has a similar effect to the &%unseen%& command
-qualifier in filter files.
+no added headers and none specified for removal. For a &%redirect%& router, if
+a generated address is the same as the incoming address, this can lead to
+duplicate addresses with different header modifications. Exim does not do
+duplicate deliveries (except, in certain circumstances, to pipes -- see section
+&<<SECTdupaddr>>&), but it is undefined which of the duplicates is discarded,
+so this ambiguous situation should be avoided. The &%repeat_use%& option of the
+&%redirect%& router may be of help.
 
+Unlike the handling of header modifications, any data that was set by the
+&%address_data%& option in the current or previous routers &'is'& passed on to
+subsequent routers.
 
 
 .option user routers string&!! "see below"
@@ -16353,7 +16535,7 @@ are discarded, together with any other MX records of equal or lower priority.
 
 .cindex "MX record" "pointing to local host"
 .cindex "local host" "MX pointing to"
-.cindex "&%self%& option" "in &(dnslookup)& router"
+.oindex "&%self%&" "in &(dnslookup)& router"
 If the host pointed to by the highest priority MX record, or looked up as an
 address record, is the local host, or matches &%hosts_treat_as_local%&, what
 happens is controlled by the generic &%self%& option.
@@ -16609,7 +16791,7 @@ postmaster@[ipv6:fe80::a00:20ff:fe86:a061.5678]
 Exim allows &`ipv4:`& before IPv4 addresses, for consistency, and on the
 grounds that sooner or later somebody will try it.
 
-.cindex "&%self%& option" "in &(ipliteral)& router"
+.oindex "&%self%&" "in &(ipliteral)& router"
 If the IP address matches something in &%ignore_target_hosts%&, the router
 declines. If an IP literal turns out to refer to the local host, the generic
 &%self%& option determines what happens.
@@ -16756,7 +16938,6 @@ below, following the list of private options.
 .cindex "options" "&(manualroute)& router"
 The private options for the &(manualroute)& router are as follows:
 
-.new
 .option host_all_ignored manualroute string defer
 See &%host_find_failed%&.
 
@@ -16776,7 +16957,7 @@ The default (&"freeze"&) assumes that this state is a serious configuration
 error. The difference between &"pass"& and &"decline"& is that the former
 forces the address to be passed to the next router (or the router defined by
 &%pass_router%&),
-.cindex "&%more%& option"
+.oindex "&%more%&"
 overriding &%no_more%&, whereas the latter passes the address to the next
 router only if &%more%& is true.
 
@@ -16788,7 +16969,6 @@ as &%host_find_failed%&, except that it cannot be set to &"ignore"&.
 The &%host_find_failed%& option applies only to a definite &"does not exist"&
 state; if a host lookup gets a temporary error, delivery is deferred unless the
 generic &%pass_on_timeout%& option is set.
-.wen
 
 
 .option hosts_randomize manualroute boolean false
@@ -16828,7 +17008,7 @@ router declines. Other kinds of expansion failure cause delivery to be
 deferred.
 
 
-.option route_list manualroute " "string list" " semicolon-separated""
+.option route_list manualroute "string list" unset
 This string is a list of routing rules, in the form defined below. Note that,
 unlike most string lists, the items are separated by semicolons. This is so
 that they may contain colon-separated host lists.
@@ -17001,7 +17181,7 @@ that is not followed by &`/MX`& it looks up an IP address. If this turns out to
 be an interface on the local host and the item is not the first in the list,
 Exim discards it and any subsequent items. If it is the first item, what
 happens is controlled by the
-.cindex "&%self%& option" "in &(manualroute)& router"
+.oindex "&%self%&" "in &(manualroute)& router"
 &%self%& option of the router.
 
 A name on the list that is followed by &`/MX`& is replaced with the list of
@@ -17387,11 +17567,9 @@ It can be routed to be delivered to a specified pipe command.
 .next
 It can cause an automatic reply to be generated.
 .next
-.new
 It can be forced to fail, optionally with a custom error message.
 .next
 It can be temporarily deferred, optionally with a custom message.
-.wen
 .next
 It can be discarded.
 .endlist
@@ -17734,7 +17912,7 @@ results in an empty redirection list has the same effect.
 .endlist
 
 
-.section "Duplicate addresses" "SECID127"
+.section "Duplicate addresses" "SECTdupaddr"
 .cindex "duplicate addresses"
 .cindex "address duplicate, discarding"
 .cindex "pipe" "duplicated"
@@ -18283,6 +18461,13 @@ real_localuser:
   local_part_prefix = real-
   transport = local_delivery
 .endd
+For security, it would probably be a good idea to restrict the use of this
+router to locally-generated messages, using a condition such as this:
+.code
+  condition = ${if match {$sender_host_address}\
+                         {\N^(|127\.0\.0\.1)$\N}}
+.endd
+
 
 .option syntax_errors_text redirect string&!! unset
 See &%skip_syntax_errors%& above.
@@ -18376,7 +18561,7 @@ address by the router. If &%user%& is non-numeric and &%group%& is not set, the
 gid associated with the user is used. If &%user%& is numeric, &%group%& must be
 set.
 
-.cindex "&%initgroups%& option"
+.oindex "&%initgroups%&"
 When the uid is taken from the transport's configuration, the &[initgroups()]&
 function is called for the groups associated with that uid if the
 &%initgroups%& option is set for the transport. When the uid is not specified
@@ -18960,8 +19145,8 @@ transport is run for each address that is routed to the transport. A separate
 copy of the message is delivered each time.
 
 .cindex "batched local delivery"
-.cindex "&%batch_max%&"
-.cindex "&%batch_id%&"
+.oindex "&%batch_max%&"
+.oindex "&%batch_id%&"
 In special cases, it may be desirable to handle several addresses at once in a
 local transport, for example:
 
@@ -19576,7 +19761,8 @@ in which case it is:
 message_prefix = "From ${if def:return_path{$return_path}\
   {MAILER-DAEMON}} $tod_bsdinbox\n"
 .endd
-
+&*Note:*& If you set &%use_crlf%& true, you must change any occurrences of
+&`\n`& to &`\r\n`& in &%message_prefix%&.
 
 .option message_suffix appendfile string&!! "see below"
 The string specified here is expanded and output at the end of every message.
@@ -19586,6 +19772,8 @@ setting
 .code
 message_suffix =
 .endd
+&*Note:*& If you set &%use_crlf%& true, you must change any occurrences of
+&`\n`& to &`\r\n`& in &%message_suffix%&.
 
 .option mode appendfile "octal integer" 0600
 If the output file is created, it is given this mode. If it already exists and
@@ -19767,11 +19955,12 @@ This option causes lines to be terminated with the two-character CRLF sequence
 of batched SMTP, the byte sequence written to the file is then an exact image
 of what would be sent down a real SMTP connection.
 
-The contents of the &%message_prefix%& and &%message_suffix%& options are
-written verbatim, so must contain their own carriage return characters if these
-are needed. In cases where these options have non-empty defaults, the values
-end with a single linefeed, so they must be changed to end with &`\r\n`& if
-&%use_crlf%& is set.
+&*Note:*& The contents of the &%message_prefix%& and &%message_suffix%& options
+(which are used to supply the traditional &"From&~"& and blank line separators
+in Berkeley-style mailboxes) are written verbatim, so must contain their own
+carriage return characters if these are needed. In cases where these options
+have non-empty defaults, the values end with a single linefeed, so they must be
+changed to end with &`\r\n`& if &%use_crlf%& is set.
 
 
 .option use_fcntl_lock appendfile boolean "see below"
@@ -20462,8 +20651,9 @@ delivers the message to it using the LMTP protocol.
 
 .option timeout lmtp time 5m
 The transport is aborted if the created process or Unix domain socket does not
-respond to LMTP commands or message input within this timeout. Here is an
-example of a typical LMTP transport:
+respond to LMTP commands or message input within this timeout. &new("Delivery
+is deferred, and will be tried again later.") Here is an example of a typical
+LMTP transport:
 .code
 lmtp:
   driver = lmtp
@@ -20818,6 +21008,9 @@ setting
 .code
 message_prefix =
 .endd
+&*Note:*& If you set &%use_crlf%& true, you must change any occurrences of
+&`\n`& to &`\r\n`& in &%message_prefix%&.
+
 
 .option message_suffix pipe string&!! "see below"
 The string specified here is expanded and output at the end of every message.
@@ -20826,6 +21019,9 @@ The suffix can be suppressed by setting
 .code
 message_suffix =
 .endd
+&*Note:*& If you set &%use_crlf%& true, you must change any occurrences of
+&`\n`& to &`\r\n`& in &%message_suffix%&.
+
 
 .option path pipe string "see below"
 This option specifies the string that is set up in the PATH environment
@@ -20936,9 +21132,9 @@ of what would be sent down a real SMTP connection.
 
 The contents of the &%message_prefix%& and &%message_suffix%& options are
 written verbatim, so must contain their own carriage return characters if these
-are needed. Since the default values for both &%message_prefix%& and
-&%message_suffix%& end with a single linefeed, their values must be changed to
-end with &`\r\n`& if &%use_crlf%& is set.
+are needed. When &%use_bsmtp%& is not set, the default values for both
+&%message_prefix%& and &%message_suffix%& end with a single linefeed, so their
+values must be changed to end with &`\r\n`& if &%use_crlf%& is set.
 
 
 .option use_shell pipe boolean false
@@ -21073,7 +21269,7 @@ no further messages are sent over that connection.
 
 
 
-.section "Use of the $host variable" "SECID145"
+.section "Use of the $host and $host_address variables" "SECID145"
 .vindex "&$host$&"
 .vindex "&$host_address$&"
 At the start of a run of the &(smtp)& transport, the values of &$host$& and
@@ -21085,6 +21281,18 @@ that are in force when the &%helo_data%&, &%hosts_try_auth%&, &%interface%&,
 &%serialize_hosts%&, and the various TLS options are expanded.
 
 
+.section "Use of $tls_cipher and $tls_peerdn" "usecippeer"
+.vindex &$tls_cipher$&
+.vindex &$tls_peerdn$&
+At the start of a run of the &(smtp)& transport, the values of &$tls_cipher$&
+and &$tls_peerdn$& are the values that were set when the message was received.
+These are the values that are used for options that are expanded before any
+SMTP connections are made. Just before each connection is made, these two
+variables are emptied. If TLS is subsequently started, they are set to the
+appropriate values for the outgoing connection, and these are the values that
+are in force when any authenticators are run and when the
+&%authenticated_sender%& option is expanded.
+
 
 .section "Private options for smtp" "SECID146"
 .cindex "options" "&(smtp)& transport"
@@ -21120,6 +21328,11 @@ forced to fail, the option is ignored. Other expansion failures cause delivery
 to be deferred. If the result of expansion is an empty string, that is also
 ignored.
 
+The expansion happens after the outgoing connection has been made and TLS
+started, if required. This means that the &$host$&, &$host_address$&,
+&$tls_cipher$&, and &$tls_peerdn$& variables are set according to the
+particular connection.
+
 If the SMTP session is not authenticated, the expansion of
 &%authenticated_sender%& still happens (and can cause the delivery to be
 deferred if it fails), but no AUTH= item is added to MAIL commands
@@ -21207,7 +21420,6 @@ in chapter &<<CHAPdnslookup>>& for more details.
 
 
 .option dns_search_parents smtp boolean false
-.cindex "&%search_parents%&"
 If the &%hosts%& or &%fallback_hosts%& option is being used, and the
 &%gethostbyname%& option is false, the RES_DNSRCH resolver option is set.
 See the &%search_parents%& option in chapter &<<CHAPdnslookup>>& for more
@@ -21261,7 +21473,6 @@ being used, names are looked up using &[gethostbyname()]&
 instead of using the DNS. Of course, that function may in fact use the DNS, but
 it may also consult other sources of information such as &_/etc/hosts_&.
 
-.new
 .option gnutls_require_kx main string unset
 This option controls the key exchange mechanisms when GnuTLS is used in an Exim
 client. For details, see section &<<SECTreqciphgnu>>&.
@@ -21273,9 +21484,7 @@ client. For details, see section &<<SECTreqciphgnu>>&.
 .option gnutls_require_protocols main string unset
 This option controls the protocols when GnuTLS is used in an Exim
 client. For details, see section &<<SECTreqciphgnu>>&.
-.wen
 
-.new
 .option helo_data smtp string&!! "see below"
 .cindex "HELO" "argument, setting"
 .cindex "EHLO" "argument, setting"
@@ -21290,17 +21499,16 @@ $primary_hostname
 During the expansion, the variables &$host$& and &$host_address$& are set to
 the identity of the remote host, and the variables &$sending_ip_address$& and
 &$sending_port$& are set to the local IP address and port number that are being
-used. These variables can be therefore used to generate different values for
-different servers or different local IP addresses. For example, if you want the
-string that is used for &%helo_data%& to be obtained by a DNS lookup of the
-outgoing interface address, you could use this:
+used. These variables can be used to generate different values for different
+servers or different local IP addresses. For example, if you want the string
+that is used for &%helo_data%& to be obtained by a DNS lookup of the outgoing
+interface address, you could use this:
 .code
 helo_data = ${lookup dnsdb{ptr=$sending_ip_address}{$value}\
   {$primary_hostname}}
 .endd
 The use of &%helo_data%& applies both to sending messages and when doing
 callouts.
-.wen
 
 .option hosts smtp "string list&!!" unset
 Hosts are associated with an address by a router such as &(dnslookup)&, which
@@ -21347,12 +21555,10 @@ start of the SMTP session. This means that it cannot use any of the ESMTP
 facilities such as AUTH, PIPELINING, SIZE, and STARTTLS.
 
 
-.new
 .option hosts_avoid_pipelining smtp "host list&!!" unset
 .cindex "PIPELINING" "avoiding the use of"
 Exim will not use the SMTP PIPELINING extension when delivering to any host
 that matches this list, even if the server host advertises PIPELINING support.
-.wen
 
 
 .option hosts_avoid_tls smtp "host list&!!" unset
@@ -21449,10 +21655,11 @@ unauthenticated. See also &%hosts_require_auth%&, and chapter
 .vindex "&$host$&"
 .vindex "&$host_address$&"
 This option specifies which interface to bind to when making an outgoing SMTP
-call. &*Note:*& Do not confuse this with the interface address that was used
-when a message was received, which is in &$received_ip_address$&, formerly
-known as &$interface_address$&. The name was changed to minimize confusion with
-the outgoing interface address. There is no variable that contains an outgoing
+call. &new("The value is an IP address, not an interface name such as
+&`eth0`&.") Do not confuse this with the interface address that was used when a
+message was received, which is in &$received_ip_address$&, formerly known as
+&$interface_address$&. The name was changed to minimize confusion with the
+outgoing interface address. There is no variable that contains an outgoing
 interface address because, unless it is set by this option, its value is
 unknown.
 
@@ -22075,6 +22282,12 @@ rewriting rule is skipped unless the relevant addresses are being processed.
 &`s`&       rewrite the &'Sender:'& header
 &`t`&       rewrite the &'To:'& header
 .endd
+.new
+"All headers" means all of the headers listed above that can be selected
+individually, plus their &'Resent-'& versions. It does not include
+other headers such as &'Subject:'& etc.
+.wen
+
 You should be particularly careful about rewriting &'Sender:'& headers, and
 restrict this to special known cases in your own domains.
 
@@ -22208,11 +22421,14 @@ can be done on the rewritten addresses.
 .chapter "Retry configuration" "CHAPretry"
 .scindex IIDretconf1 "retry" "configuration, description of"
 .scindex IIDregconf2 "configuration file" "retry section"
-The &"retry"& section of the run time configuration file contains a list of
+The &"retry"& section of the runtime configuration file contains a list of
 retry rules that control how often Exim tries to deliver messages that cannot
-be delivered at the first attempt. If there are no retry rules, temporary
-errors are treated as permanent. The &%-brt%& command line option can be used
-to test which retry rule will be used for a given address, domain and error.
+be delivered at the first attempt. If there are no retry rules (the section is
+empty or not present), there are no retries. In this situation, temporary
+errors are treated as permanent. The default configuration contains a single,
+general-purpose retry rule (see section &<<SECID57>>&). The &%-brt%& command
+line option can be used to test which retry rule will be used for a given
+address, domain and error.
 
 The most common cause of retries is temporary failure to deliver to a remote
 host because the host is down, or inaccessible because of a network problem.
@@ -22566,7 +22782,7 @@ computed from the rule's parameters until one that is greater than the previous
 interval is found. The main configuration variable
 .cindex "limit" "retry interval"
 .cindex "retry" "interval, maximum"
-.cindex "&%retry_interval_max%&"
+.oindex "&%retry_interval_max%&"
 &%retry_interval_max%& limits the maximum interval between retries. It
 cannot be set greater than &`24h`&, which is its default value.
 
@@ -22639,7 +22855,7 @@ hours, then with intervals starting at one hour and increasing by a factor of
 
 .section "Timeout of retry data" "SECID165"
 .cindex "timeout" "of retry data"
-.cindex "&%retry_data_expire%&"
+.oindex "&%retry_data_expire%&"
 .cindex "hints database" "data expiry"
 .cindex "retry" "timeout of data"
 Exim timestamps the data that it writes to its retry hints database. When it
@@ -22685,7 +22901,7 @@ messages. If this delivery fails, the address fails immediately. The
 post-cutoff retry time is not used.
 
 If the delivery is remote, there are two possibilities, controlled by the
-.cindex "&%delay_after_cutoff%&"
+.oindex "&%delay_after_cutoff%&"
 &%delay_after_cutoff%& option of the &(smtp)& transport. The option is true by
 default. Until the post-cutoff retry time for one of the IP addresses is
 reached, the failing email address is bounced immediately, without a delivery
@@ -22794,7 +23010,7 @@ includes the list of supported mechanisms. For example:
 &`$ `&&*&`telnet server.example 25`&*&
 &`Trying 192.168.34.25...`&
 &`Connected to server.example.`&
-&`Escape character is '^]'.`&
+&`Escape character is &#x0027;^]&#x0027;.`&
 &`220 server.example ESMTP Exim 4.20 ...`&
 &*&`ehlo client.example`&*&
 &`250-server.example Hello client.example [10.8.4.5]`&
@@ -22858,6 +23074,18 @@ in Exim.
 .cindex "authentication" "generic options"
 .cindex "options" "generic; for authenticators"
 
+.option client_condition authenticators string&!! unset
+When Exim is authenticating as a client, it skips any authenticator whose
+&%client_condition%& expansion yields &"0"&, &"no"&, or &"false"&. This can be
+used, for example, to skip plain text authenticators when the connection is not
+encrypted by a setting such as:
+.code
+client_condition = ${if !eq{$tls_cipher}{}}
+.endd
+(Older documentation incorrectly states that &$tls_cipher$& contains the cipher
+used for incoming messages. In fact, during SMTP delivery, it contains the
+cipher used for the delivery.)
+
 
 .option driver authenticators string unset
 This option must always be set. It specifies which of the available
@@ -23113,12 +23341,10 @@ announces support for authentication, and the host matches an entry in either
 of these options, Exim (as a client) tries to authenticate as follows:
 
 .ilist
-.new
 For each authenticator that is configured as a client, in the order in which
 they are defined in the configuration, it searches the authentication
 mechanisms announced by the server for one whose name matches the public name
 of the authenticator.
-.wen
 .next
 .vindex "&$host$&"
 .vindex "&$host_address$&"
@@ -23651,20 +23877,20 @@ dovecot_plain:
   driver = dovecot
   public_name = PLAIN
   server_socket = /var/run/dovecot/auth-client
-  server_setid = $auth1
+  server_set_id = $auth1
 
 dovecot_ntlm:
   driver = dovecot
   public_name = NTLM
   server_socket = /var/run/dovecot/auth-client
-  server_setid = $auth1
+  server_set_id = $auth1
 .endd
 If the SMTP connection is encrypted, or if &$sender_host_address$& is equal to
 &$received_ip_address$& (that is, the connection is local), the &"secured"&
 option is passed in the Dovecot authentication command. If, for a TLS
 connection, a client certificate has been verified, the &"valid-client-cert"&
-option is passed. &new("When authentication succeeds, the identity of the user
-who authenticated is placed in &$auth1$&.")
+option is passed. When authentication succeeds, the identity of the user
+who authenticated is placed in &$auth1$&.
 .ecindex IIDdcotauth1
 .ecindex IIDdcotauth2
 
@@ -23920,7 +24146,7 @@ stalling is removed.
 
 .section "Requiring specific ciphers in OpenSSL" "SECTreqciphssl"
 .cindex "TLS" "requiring specific ciphers (OpenSSL)"
-.cindex "&%tls_require_ciphers%&" "OpenSSL"
+.oindex "&%tls_require_ciphers%&" "OpenSSL"
 There is a function in the OpenSSL library that can be passed a list of cipher
 suites before the cipher negotiation takes place. This specifies which ciphers
 are acceptable. The list is colon separated and may contain names like
@@ -23964,7 +24190,6 @@ not be moved to the end of the list.
 
 
 
-.new
 .section "Requiring specific ciphers or other parameters in GnuTLS" &&&
          "SECTreqciphgnu"
 .cindex "GnuTLS" "specifying parameters for"
@@ -23972,7 +24197,7 @@ not be moved to the end of the list.
 .cindex "TLS" "specifying key exchange methods (GnuTLS)"
 .cindex "TLS" "specifying MAC algorithms (GnuTLS)"
 .cindex "TLS" "specifying protocols (GnuTLS)"
-.cindex "&%tls_require_ciphers%&" "GnuTLS"
+.oindex "&%tls_require_ciphers%&" "GnuTLS"
 The GnuTLS library allows the caller to specify separate lists of permitted key
 exchange methods, main cipher algorithms, MAC algorithms, and protocols.
 Unfortunately, these lists are numerical, and the library does not have a
@@ -23989,9 +24214,9 @@ list for the name of an available algorithm. For example, if the list
 contains RSA_AES_SHA, then AES is recognized, and the behaviour is exactly
 the same as if just AES were given.
 
-.cindex "&%gnutls_require_kx%&"
-.cindex "&%gnutls_require_mac%&"
-.cindex "&%gnutls_require_protocols%&"
+.oindex "&%gnutls_require_kx%&"
+.oindex "&%gnutls_require_mac%&"
+.oindex "&%gnutls_require_protocols%&"
 There are additional options called &%gnutls_require_kx%&,
 &%gnutls_require_mac%&, and &%gnutls_require_protocols%& that can be used to
 restrict the key exchange methods, MAC algorithms, and protocols, respectively.
@@ -24043,7 +24268,6 @@ client, the order in the &%tls_require_ciphers%& list specifies a preference
 order for the cipher algorithms. The first one in the client's list that is
 also advertised by the server is tried first. The default order is as listed
 above.
-.wen
 
 
 
@@ -24127,16 +24351,17 @@ incoming message (by default &-- you can, of course, change this), and it is
 also included in the log line that records a message's arrival, keyed by
 &"X="&, unless the &%tls_cipher%& log selector is turned off. The &%encrypted%&
 condition can be used to test for specific cipher suites in ACLs.
-
-The ACLs that run for subsequent SMTP commands can check the name of the cipher
-suite and vary their actions accordingly. The cipher suite names are those used
-by OpenSSL. These may differ from the names used elsewhere. For example,
-OpenSSL uses the name DES-CBC3-SHA for the cipher suite which in other contexts
-is known as TLS_RSA_WITH_3DES_EDE_CBC_SHA. Check the OpenSSL
+&new("(For outgoing SMTP deliveries, &$tls_cipher$& is reset &-- see section
+&<<SECID185>>&.)")
+
+Once TLS has been established, the ACLs that run for subsequent SMTP commands
+can check the name of the cipher suite and vary their actions accordingly. The
+cipher suite names vary, depending on which TLS library is being used. For
+example, OpenSSL uses the name DES-CBC3-SHA for the cipher suite which in other
+contexts is known as TLS_RSA_WITH_3DES_EDE_CBC_SHA. Check the OpenSSL or GnuTLS
 documentation for more details.
 
 
-
 .section "Requesting and verifying client certificates" "SECID183"
 .cindex "certificate" "verification of client"
 .cindex "TLS" "client certificate verification"
@@ -24232,7 +24457,6 @@ negotiation fails, Exim closes the current connection (because it is in an
 unknown state), opens a new one to the same host, and then tries the delivery
 unencrypted.
 
-
 The &%tls_certificate%& and &%tls_privatekey%& options of the &(smtp)&
 transport provide the client with a certificate, which is passed to the server
 if it requests it. If the server is Exim, it will request a certificate only if
@@ -24261,6 +24485,14 @@ All the TLS options in the &(smtp)& transport are expanded before use, with
 which the client is connected. Forced failure of an expansion causes Exim to
 behave as if the relevant option were unset.
 
+.vindex &$tls_cipher$&
+.vindex &$tls_peerdn$&
+Before an SMTP connection is established, the &$tls_cipher$& and &$tls_peerdn$&
+variables are emptied. (Until the first connection, they contain the values
+that were set when the message was received.) If STARTTLS is subsequently
+successfully obeyed, these variables are set to the relevant values for the
+outgoing connection.
+
 
 
 .section "Multiple messages on the same encrypted TCP/IP connection" &&&
@@ -24440,6 +24672,7 @@ options in the main part of the configuration. These options are:
 .irow &%acl_smtp_mail%&        "ACL for MAIL"
 .irow &%acl_smtp_mailauth%&    "ACL for the AUTH parameter of MAIL"
 .irow &%acl_smtp_mime%&        "ACL for content-scanning MIME parts"
+.irow &new(&%acl_smtp_notquit%&)  "ACL for non-QUIT terminations"
 .irow &%acl_smtp_predata%&     "ACL at start of DATA command"
 .irow &%acl_smtp_quit%&        "ACL for QUIT"
 .irow &%acl_smtp_rcpt%&        "ACL for RCPT"
@@ -24474,8 +24707,8 @@ in any of these ACLs.
 
 The &%acl_not_smtp_start%& ACL is run right at the start of receiving a
 non-SMTP message, before any of the message has been read. (This is the
-analogue of the &%acl_smtp_predata%& ACL for SMTP input.) &new("In the case of
-batched SMTP input, it runs after the DATA command has been reached.") The
+analogue of the &%acl_smtp_predata%& ACL for SMTP input.) In the case of
+batched SMTP input, it runs after the DATA command has been reached. The
 result of this ACL is ignored; it cannot be used to reject a message. If you
 really need to, you could set a value in an ACL variable here and reject based
 on that in the &%acl_not_smtp%& ACL. However, this ACL can be used to set
@@ -24496,7 +24729,7 @@ temporary error for these kinds of message.
 
 .section "The SMTP connect ACL" "SECID191"
 .cindex "SMTP" "connection, ACL for"
-.cindex &%smtp_banner%&
+.oindex &%smtp_banner%&
 The ACL test specified by &%acl_smtp_connect%& happens at the start of an SMTP
 session, after the test specified by &%host_reject_connection%& (which is now
 an anomaly) and any TCP Wrappers testing (if configured). If the connection is
@@ -24580,6 +24813,42 @@ connection is closed. In these special cases, the QUIT ACL does not run.
 
 
 
+.section "The not-QUIT ACL" "SECTNOTQUITACL"
+The not-QUIT ACL, specified by &%smtp_notquit_acl%&, is run in most cases when
+an SMTP session ends without sending QUIT. However, when Exim itself is is bad
+trouble, such as being unable to write to its log files, this ACL is not run,
+because it might try to do things (such as write to log files) that make the
+situation even worse.
+
+Like the QUIT ACL, this ACL is provided to make it possible to do customized
+logging or to gather statistics, and its outcome is ignored. The &%delay%&
+modifier is forbidden in this ACL, and the only permitted verbs are &%accept%&
+and &%warn%&.
+
+.vindex &$smtp_notquit_reason$&
+When the not-QUIT ACL is running, the variable &$smtp_notquit_reason$& is set
+to a string that indicates the reason for the termination of the SMTP
+connection. The possible values are:
+.table2
+.irow &`acl-drop`&                 "Another ACL issued a &%drop%& command"
+.irow &`bad-commands`&             "Too many unknown or non-mail commands"
+.irow &`command-timeout`&          "Timeout while reading SMTP commands"
+.irow &`connection-lost`&          "The SMTP connection has been lost"
+.irow &`data-timeout`&             "Timeout while reading message data"
+.irow &`local-scan-error`&         "The &[local_scan()]& function crashed"
+.irow &`local-scan-timeout`&       "The &[local_scan()]& function timed out"
+.irow &`signal-exit`&              "SIGTERM or SIGINT"
+.irow &`synchronization-error`&    "SMTP synchronization error"
+.irow &`tls-failed`&               "TLS failed to start"
+.endtable
+In most cases when an SMTP connection is closed without having received QUIT,
+Exim sends an SMTP response message before actually closing the connection.
+With the exception of the &`acl-drop`& case, the default message can be
+overridden by the &%message%& modifier in the not-QUIT ACL. In the case of a
+&%drop%& verb in another ACL, it is the message from the other ACL that is
+used.
+
+
 .section "Finding an ACL to use" "SECID195"
 .cindex "&ACL;" "finding which to use"
 The value of an &%acl_smtp_%&&'xxx'& option is expanded before use, so
@@ -24815,7 +25084,7 @@ statement), &%message%& can be used to vary the message that is sent when an
 SMTP command is accepted. For example, in a RCPT ACL you could have:
 .display
 &`accept  `&<&'some conditions'&>
-&`        message = OK, I'll allow you through today`&
+&`        message = OK, I will allow you through today`&
 .endd
 You can specify an SMTP response code, optionally followed by an &"extended
 response code"& at the start of the message, but the first digit must be the
@@ -24881,15 +25150,13 @@ The connection is always dropped after sending a 550 response.
 statement. If any of the conditions are not met, the ACL returns &"deny"&. For
 example, when checking a RCPT command,
 .code
-.new
 require message = Sender did not verify
         verify  = sender
-.wen
 .endd
 passes control to subsequent statements only if the message's sender can be
-verified. Otherwise, it rejects the command. &new("Note the positioning of the
+verified. Otherwise, it rejects the command. Note the positioning of the
 &%message%& modifier, before the &%verify%& condition. The reason for this is
-discussed in section &<<SECTcondmodproc>>&.")
+discussed in section &<<SECTcondmodproc>>&.
 
 .next
 .cindex "&%warn%& ACL verb"
@@ -25063,7 +25330,6 @@ This modifier specifies one or more header lines that are to be added to an
 incoming message, assuming, of course, that the message is ultimately
 accepted. For details, see section &<<SECTaddheadacl>>&.
 
-.new
 .vitem &*continue*&&~=&~<&'text'&>
 .cindex "&%continue%& ACL modifier"
 .cindex "database" "updating in ACL"
@@ -25079,7 +25345,6 @@ Instead, all you need is
 .display
 &`continue = `&<&'some expansion'&>
 .endd
-.wen
 
 .vitem &*control*&&~=&~<&'text'&>
 .cindex "&%control%& ACL modifier"
@@ -25137,21 +25402,19 @@ log entry.
 If you want to apply a control unconditionally, you can use it with a
 &%require%& verb. For example:
 .code
-    require  control = no_multiline_response
+    require  control = no_multiline_responses
 .endd
 .endlist
 
 .vitem &*delay*&&~=&~<&'time'&>
 .cindex "&%delay%& ACL modifier"
 .oindex "&%-bh%&"
-.new
 This modifier may appear in any ACL. It causes Exim to wait for the time
 interval before proceeding. However, when testing Exim using the &%-bh%&
 option, the delay is not actually imposed (an appropriate message is output
 instead). The time is given in the usual Exim notation, and the delay happens
 as soon as the modifier is processed. In an SMTP session, pending output is
 flushed before the delay is imposed.
-.wen
 
 Like &%control%&, &%delay%& can be used with &%accept%& or &%deny%&, for
 example:
@@ -25174,7 +25437,6 @@ warn    ...some conditions...
 accept  ...
 .endd
 
-.new
 If &%delay%& is encountered when the SMTP PIPELINING extension is in use,
 responses to several commands are no longer buffered and sent in one packet (as
 they would normally be) because all output is flushed before imposing the
@@ -25182,7 +25444,6 @@ delay. This optimization is disabled so that a number of small delays do not
 appear to the client as one large aggregated delay that might provoke an
 unwanted timeout. You can, however, disable output flushing for &%delay%& by
 using a &%control%& modifier to set &%no_delay_flush%&.
-.wen
 
 
 .vitem &*endpass*&
@@ -25302,7 +25563,7 @@ require  message = Host not recognized
 processed.)
 
 .cindex "SMTP" "error codes"
-.cindex "&%smtp_banner%&
+.oindex "&%smtp_banner%&
 For ACLs that are triggered by SMTP commands, the message is returned as part
 of the SMTP response. The use of &%message%& with &%accept%& (or &%discard%&)
 is meaningful only for SMTP, as no message is returned when a non-SMTP message
@@ -25475,7 +25736,6 @@ This modifier can optionally be followed by &`/no_tell`&. If the global option
 is told about the freezing), provided all the &*control=freeze*& modifiers that
 are obeyed for the current message have the &`/no_tell`& option.
 
-.new
 .vitem &*control&~=&~no_delay_flush*&
 .cindex "SMTP" "output flushing, disabling for delay"
 Exim normally flushes SMTP output before implementing a delay in an ACL, to
@@ -25489,7 +25749,6 @@ Exim normally flushes SMTP output before performing a callout in an ACL, to
 avoid unexpected timeouts in clients when the SMTP PIPELINING extension is in
 use. This control, as long as it is encountered before the &%verify%& condition
 that causes the callout, disables such output flushing.
-.wen
 
 .vitem &*control&~=&~no_mbox_unspool*&
 This control is available when Exim is compiled with the content scanning
@@ -25501,7 +25760,7 @@ only to the current message, not to any subsequent ones that may be received in
 the same SMTP connection. It is provided for debugging purposes and is unlikely
 to be useful in production.
 
-.vitem &*control&~=&~no_multiline_response*&
+.vitem &*control&~=&~no_multiline_responses*&
 .cindex "multiline responses, suppressing"
 This control is permitted for any ACL except the one for non-SMTP messages.
 It seems that there are broken clients in use that cannot handle multiline
@@ -25526,7 +25785,6 @@ line is output.
 The setting of the switch can, of course, be made conditional on the
 calling host. Its effect lasts until the end of the SMTP connection.
 
-.new
 .vitem &*control&~=&~no_pipelining*&
 .cindex "PIPELINING" "suppressing advertising"
 This control turns off the advertising of the PIPELINING extension to SMTP in
@@ -25534,10 +25792,9 @@ the current session. To be useful, it must be obeyed before Exim sends its
 response to an EHLO command. Therefore, it should normally appear in an ACL
 controlled by &%acl_smtp_connect%& or &%acl_smtp_helo%&. See also
 &%pipelining_advertise_hosts%&.
-.wen
 
 .vitem &*control&~=&~queue_only*&
-.cindex "&%queue_only%&"
+.oindex "&%queue_only%&"
 .cindex "queueing incoming messages"
 This control is permitted only for the MAIL, RCPT, DATA, and non-SMTP ACLs, in
 other words, only when a message is being received. If the message is accepted,
@@ -25585,10 +25842,8 @@ used only in the &%acl_smtp_mail%&, &%acl_smtp_rcpt%&, &%acl_smtp_predata%&,
 and &%acl_not_smtp_start%& ACLs, because it has to be set before the message's
 data is read.
 
-.new
 &*Note:*& This control applies only to the current message, not to any others
 that are being submitted at the same time using &%-bs%& or &%-bS%&.
-.wen
 .endlist vlist
 
 
@@ -25772,9 +26027,9 @@ negative.
 This condition is available only when Exim is compiled with the
 content-scanning extension, and it is allowed only in the ACL defined by
 &%acl_smtp_mime%&. It causes the current MIME part to be decoded into a file.
-&new("If all goes well, the condition is true. It is false only if there are
+If all goes well, the condition is true. It is false only if there are
 problems such as a syntax error or a memory shortage. For more details, see
-chapter &<<CHAPexiscan>>&.")
+chapter &<<CHAPexiscan>>&.
 
 .vitem &*demime&~=&~*&<&'extension&~list'&>
 .cindex "&%demime%& ACL condition"
@@ -25791,7 +26046,7 @@ This condition checks for entries in DNS black lists. These are also known as
 &"RBL lists"&, after the original Realtime Blackhole List, but note that the
 use of the lists at &'mail-abuse.org'& now carries a charge. There are too many
 different variants of this condition to describe briefly here. See sections
-&<<SECTmorednslists>>&--&<<SECTmorednslistslast>>& for details.
+&<<SECTmorednslists>>&&--&<<SECTmorednslistslast>>& for details.
 
 .vitem &*domains&~=&~*&<&'domain&~list'&>
 .cindex "&%domains%& ACL condition"
@@ -26268,6 +26523,8 @@ dnslists = sbl.spahmaus.org/<|192.168.2.3|192.168.5.6|...
 Thus, this example checks whether or not the IP addresses of the sender
 domain's mail servers are on the Spamhaus black list.
 
+The key that was used for a successful DNS list lookup is put into the variable
+&$dnslist_matched$& (see section &<<SECID204>>&).
 
 
 
@@ -26289,21 +26546,42 @@ The values used on the RBL+ list are:
 .endd
 Section &<<SECTaddmatcon>>& below describes how you can distinguish between
 different values. Some DNS lists may return more than one address record;
-&new("see section &<<SECThanmuldnsrec>>& for details of how they are checked.")
+see section &<<SECThanmuldnsrec>>& for details of how they are checked.
+
 
 .section "Variables set from DNS lists" "SECID204"
+.cindex "expansion" "variables, set from DNS list"
 .cindex "DNS list" "variables set from"
 .vindex "&$dnslist_domain$&"
+.vindex "&$dnslist_matched$&"
 .vindex "&$dnslist_text$&"
 .vindex "&$dnslist_value$&"
-When an entry is found in a DNS list, the variable &$dnslist_domain$&
-contains the name of the domain that matched, and &$dnslist_value$& contains
-the data from the entry. If more than one address record is returned by the DNS
-lookup, all the IP addresses are included in &$dnslist_value$&, separated by
-commas and spaces. The variable &$dnslist_text$& contains the contents of any
-associated TXT record. For lists such as RBL+ the TXT record for a merged entry
-is often not very meaningful. See section &<<SECTmordetinf>>& for a way of
-obtaining more information.
+When an entry is found in a DNS list, the variable &$dnslist_domain$& contains
+the name of the overall domain that matched (for example,
+&`spamhaus.example`&), &$dnslist_matched$& contains the key within that domain
+(for example, &`192.168.5.3`&), and &$dnslist_value$& contains the data from
+the DNS record. When the key is an IP address, it is not reversed in
+&$dnslist_matched$& (though it is, of course, in the actual lookup). In simple
+cases, for example:
+.code
+deny dnslists = spamhaus.example
+.endd
+the key is also available in another variable (in this case,
+&$sender_host_address$&). In more complicated cases, however, this is not true.
+For example, using a data lookup (as described in section &<<SECTmulkeyfor>>&)
+might generate a dnslists lookup like this:
+.code
+deny dnslists = spamhaus.example/<|192.168.1.2|192.168.6.7|...
+.endd
+If this condition succeeds, the value in &$dnslist_matched$& might be
+&`192.168.6.7`& (for example).
+
+If more than one address record is returned by the DNS lookup, all the IP
+addresses are included in &$dnslist_value$&, separated by commas and spaces.
+The variable &$dnslist_text$& contains the contents of any associated TXT
+record. For lists such as RBL+ the TXT record for a merged entry is often not
+very meaningful. See section &<<SECTmordetinf>>& for a way of obtaining more
+information.
 
 You can use the DNS list variables in &%message%& or &%log_message%& modifiers
 &-- although these appear before the condition in the ACL, they are not
@@ -26326,9 +26604,9 @@ For example,
 deny dnslists = rblplus.mail-abuse.org=127.0.0.2
 .endd
 rejects only those hosts that yield 127.0.0.2. Without this additional data,
-any address record is considered to be a match. &new("For the moment, we assume
+any address record is considered to be a match. For the moment, we assume
 that the DNS lookup returns just one record. Section &<<SECThanmuldnsrec>>&
-describes how multiple records are handled.")
+describes how multiple records are handled.
 
 More than one IP address may be given for checking, using a comma as a
 separator. These are alternatives &-- if any one of them matches, the
@@ -26409,7 +26687,6 @@ which is less clear, and harder to maintain.
 
 
 
-.new
 .section "Handling multiple DNS records from a DNS list" "SECThanmuldnsrec"
 A DNS lookup for a &%dnslists%& condition may return more than one DNS record,
 thereby providing more than one IP address. When an item in a &%dnslists%& list
@@ -26470,7 +26747,6 @@ for the condition to be false.
 .endlist
 When the DNS lookup yields only a single IP address, there is no difference
 between &`=`& and &`==`& and between &`&&`& and &`=&&`&.
-.wen
 
 
 
@@ -26550,7 +26826,7 @@ deny   condition = ${if isip4{$sender_host_address}}
        dnslists  = some.list.example
 .endd
 
-.section "Rate limiting senders" "SECTratelimiting"
+.section "Rate limiting incoming messages" "SECTratelimiting"
 .cindex "rate limiting" "client sending"
 .cindex "limiting client sending rates"
 .oindex "&%smtp_ratelimit_*%&"
@@ -26597,17 +26873,24 @@ user, independent of the computer they are sending from, set the key to
 example, &$authenticated_id$& is only meaningful if the client has
 authenticated, and you can check with the &%authenticated%& ACL condition.
 
+If you want to limit the rate at which a recipient receives messages, you can
+use the key &`$local_part@$domain`& with the &%per_rcpt%& option (see below) in
+a RCPT ACL.
+
 Internally, Exim includes the smoothing constant &'p'& and the options in the
 lookup key because they alter the meaning of the stored data. This is not true
 for the limit &'m'&, so you can alter the configured maximum rate and Exim will
 still remember clients' past behaviour, but if you alter the other ratelimit
 parameters Exim forgets past behaviour.
 
-Each &%ratelimit%& condition can have up to two options. The first option
+Each &%ratelimit%& condition can have up to three options. One option
 specifies what Exim measures the rate of, and the second specifies how Exim
-handles excessively fast clients. The options are separated by a slash, like
-the other parameters.
+handles excessively fast clients. The third option can be &`noupdate`&, to
+disable updating of the ratelimiting database (see section &<<rearatdat>>&).
+The options are separated by a slash, like the other parameters. They may
+appear in any order.
 
+.section "Ratelimit options for what is being measured" "ratoptmea"
 The &%per_conn%& option limits the client's connection rate.
 
 The &%per_mail%& option limits the client's rate of sending messages. This is
@@ -26619,13 +26902,25 @@ relies on the SIZE parameter on the MAIL command, which may be inaccurate or
 completely missing. You can follow the limit &'m'& in the configuration with K,
 M, or G to specify limits in kilobytes, megabytes, or gigabytes, respectively.
 
+.new
+The &%per_rcpt%& option causes Exim to limit the rate at which
+recipients are accepted. To be effective, it would need to be used in
+either the &%acl_smtp_rcpt%& or the &%acl_not_smtp%& ACL. In the
+&%acl_smtp_rcpt%& ACL, the number of recipients is incremented by one.
+In the case of a locally submitted message in the &%acl_not_smtp%& ACL,
+the number of recipients incremented is equal to &%$recipients_count%&
+for the entire message. Note that in either case the rate limiting
+engine will see a message with many recipients as a large high-speed
+burst.
+
 The &%per_cmd%& option causes Exim to recompute the rate every time the
-condition is processed. This can be used to limit the SMTP command rate. The
-alias &%per_rcpt%& is provided for use in the RCPT ACL instead of &%per_cmd%&
-to make it clear that the effect is to limit the rate at which recipients are
-accepted. Note that in this case the rate limiting engine will see a message
-with many recipients as a large high-speed burst.
+condition is processed. This can be used to limit the SMTP command rate.
+This command is essentially an alias of &%per_rcpt%& to make it clear
+that the effect is to limit the rate at which individual commands,
+rather than recipients, are accepted.
+.wen
 
+.section "Ratelimit options for handling fast clients" "ratophanfas"
 If a client's average rate is greater than the maximum, the rate limiting
 engine can react in two possible ways, depending on the presence of the
 &%strict%& or &%leaky%& options. This is independent of the other
@@ -26635,23 +26930,25 @@ over-aggressive retry rate preventing it from getting any email through.
 
 The &%strict%& option means that the client's recorded rate is always updated.
 The effect of this is that Exim measures the client's average rate of attempts
-to send email, which can be much higher than the maximum. If the client is over
-the limit it will be subjected to counter-measures until it slows down below
-the maximum rate. The smoothing period determines the time it takes for a high
-sending rate to decay exponentially to 37% of its peak value, which means that
-you can work out the time (the number of smoothing periods) that a client is
-subjected to counter-measures after an over-limit burst with this formula:
+to send email, which can be much higher than the maximum &new("it is actually
+allowed. If the client is over the limit it may be subjected to
+counter-measures in the ACL until it slows down below the maximum rate.") The
+smoothing period determines the time it takes for a high sending rate to decay
+exponentially to 37% of its peak value, which means that you can work out the
+time (the number of smoothing periods) that a client is subjected to
+counter-measures after an over-limit burst with this formula:
 .code
 ln(peakrate/maxrate)
 .endd
-The &%leaky%& option means that the client's recorded rate is not updated if it
-is above the limit. The effect of this is that Exim measures the client's
-average rate of successfully sent email, which cannot be greater than the
-maximum. If the client is over the limit it may suffer some
+The &%leaky%& (default) option means that the client's recorded rate is not
+updated if it is above the limit. The effect of this is that Exim measures the
+client's average rate of successfully sent email, which cannot be greater than
+the maximum allowed. If the client is over the limit it may suffer some
 counter-measures (as specified in the ACL), but it will still be able to send
 email at the configured maximum rate, whatever the rate of its attempts. This
 is generally the better choice if you have clients that retry automatically.
 
+.section "Using rate limiting" "useratlim"
 Exim's other ACL facilities are used to define what counter-measures are taken
 when the rate limit is exceeded. This might be anything from logging a warning
 (for example, while measuring existing sending rates in order to define
@@ -26693,6 +26990,37 @@ this means that Exim will lose its hints data after a reboot (including retry
 hints, the callout cache, and ratelimit data).
 
 
+.section "Reading ratelimit data without updating" "rearatdat"
+.cindex "rate limitint" "reading data without updating"
+If the &%noupdate%& option is present on a &%ratelimit%& ACL condition, Exim
+computes the rate and checks the limit as normal, but it does not update the
+saved data. This means that, in relevant ACLs, it is possible to lookup the
+existence of a specified (or auto-generated) ratelimit key without incrementing
+the ratelimit counter for that key. In order for this to be useful, another ACL
+entry must set the rate for the same key (otherwise it will always be zero).
+For example:
+.code
+acl_check_connect:
+  deny ratelimit = 100 / 5m / strict / noupdate
+       log_message = RATE: $sender_rate/$sender_rate_period \
+                     (max $sender_rate_limit)
+.endd
+.display
+&'... some other logic and tests...'&
+.endd
+.code
+acl_check_mail:
+  warn ratelimit = 100 / 5m / strict / per_cmd
+       condition = ${if le{$sender_rate}{$sender_rate_limit}}
+       logwrite  = RATE UPDATE: $sender_rate/$sender_rate_period \
+                     (max $sender_rate_limit)
+.endd
+In this example, the rate is tested and used to deny access (when it is too
+high) in the connect ACL, but the actual computation of the remembered rate
+happens later, on a per-command basis, in another ACL.
+
+
+
 .section "Address verification" "SECTaddressverification"
 .cindex "verifying address" "options for"
 .cindex "policy control" "address verification"
@@ -26840,13 +27168,11 @@ Exim tries the next host, if any. If there is a problem with all the remote
 hosts, the ACL yields &"defer"&, unless the &%defer_ok%& parameter of the
 &%callout%& option is given, in which case the condition is forced to succeed.
 
-.new
 .cindex "SMTP" "output flushing, disabling for callout"
 A callout may take a little time. For this reason, Exim normally flushes SMTP
 output before performing a callout in an ACL, to avoid unexpected timeouts in
 clients when the SMTP PIPELINING extension is in use. The flushing can be
 disabled by using a &%control%& modifier to set &%no_callout_flush%&.
-.wen
 
 
 
@@ -27469,7 +27795,7 @@ It supports a &"generic"& interface to scanners called via the shell, and
 specialized interfaces for &"daemon"& type virus scanners, which are resident
 in memory and thus are much faster.
 
-.cindex "&%av_scanner%&"
+.oindex "&%av_scanner%&"
 You can set the &%av_scanner%& option in first part of the Exim configuration
 file to specify which scanner to use, together with any additional options that
 are needed. The basic syntax is as follows:
@@ -27689,7 +28015,7 @@ SpamAssassin has its own set of configuration files. Please review its
 documentation to see how you can tweak it. The default installation should work
 nicely, however.
 
-.cindex "&%spamd_address%&"
+.oindex "&%spamd_address%&"
 After having installed and configured SpamAssassin, start the &%spamd%& daemon.
 By default, it listens on 127.0.0.1, TCP port 783. If you use another host or
 port for &%spamd%&, you must set the &%spamd_address%& option in the global
@@ -27721,6 +28047,10 @@ condition defers.
 &*Warning*&: It is not possible to use the UNIX socket connection method with
 multiple &%spamd%& servers.
 
+The &%spamd_address%& variable is expanded before use if it starts with
+a dollar sign. In this case, the expansion may return a string that is
+used as the list so that multiple spamd servers can be the result of an
+expansion.
 
 .section "Calling SpamAssassin from an Exim ACL" "SECID206"
 Here is a simple example of the use of the &%spam%& condition in a DATA ACL:
@@ -27791,14 +28121,15 @@ A multiline text table, containing the full SpamAssassin report for the
 message. Useful for inclusion in headers or reject messages.
 .endlist
 
-The &%spam%& condition caches its results. If you call it again with the same
-user name, it does not scan again, but rather returns the same values as
-before.
+The &%spam%& condition caches its results unless expansion in
+spamd_address was used. If you call it again with the same user name, it
+does not scan again, but rather returns the same values as before.
 
-The &%spam%& condition returns DEFER if there is any error while running the
-message through SpamAssassin. If you want to treat DEFER as FAIL (to pass on to
-the next ACL statement block), append &`/defer_ok`& to the right-hand side of
-the spam condition, like this:
+The &%spam%& condition returns DEFER if there is any error while running
+the message through SpamAssassin or if the expansion of spamd_address
+failed. If you want to treat DEFER as FAIL (to pass on to the next ACL
+statement block), append &`/defer_ok`& to the right-hand side of the
+spam condition, like this:
 .code
 deny message = This message was classified as SPAM
      spam    = joe/defer_ok
@@ -27829,8 +28160,8 @@ deny  message = This message scored $spam_score spam points.
 .section "Scanning MIME parts" "SECTscanmimepart"
 .cindex "content scanning" "MIME parts"
 .cindex "MIME content scanning"
-.cindex "&%acl_smtp_mime%&"
-.cindex "&%acl_not_smtp_mime%&"
+.oindex "&%acl_smtp_mime%&"
+.oindex "&%acl_not_smtp_mime%&"
 The &%acl_smtp_mime%& global option specifies an ACL that is called once for
 each MIME part of an SMTP message, including multipart types, in the sequence
 of their position in the message. Similarly, the &%acl_not_smtp_mime%& option
@@ -27838,13 +28169,13 @@ specifies an ACL that is used for the MIME parts of non-SMTP messages. These
 options may both refer to the same ACL if you want the same processing in both
 cases.
 
-These ACLs are called (possibly many times) just before the
-&%acl_smtp_data%& ACL in the case of an SMTP message, or just before the
-&%acl_not_smtp%& ACL in the case of a non-SMTP message. However, a MIME ACL
-is called only if the message contains a &'MIME-Version:'& header line. When a
-call to a MIME ACL does not yield &"accept"&, ACL processing is aborted and the
-appropriate result code is sent to the client. In the case of an SMTP message,
-the &%acl_smtp_data%& ACL is not called when this happens.
+These ACLs are called (possibly many times) just before the &%acl_smtp_data%&
+ACL in the case of an SMTP message, or just before the &%acl_not_smtp%& ACL in
+the case of a non-SMTP message. However, a MIME ACL is called only if the
+message contains a &new(&'Content-Type:'&) header line. When a call to a MIME
+ACL does not yield &"accept"&, ACL processing is aborted and the appropriate
+result code is sent to the client. In the case of an SMTP message, the
+&%acl_smtp_data%& ACL is not called when this happens.
 
 You cannot use the &%malware%& or &%spam%& conditions in a MIME ACL; these can
 only be used in the DATA or non-SMTP ACLs. However, you can use the &%regex%&
@@ -27880,9 +28211,9 @@ the full path and file name.
 If the string does not start with a slash, it is used as the
 filename, and the default path is then used.
 .endlist
-&new("The &%decode%& condition normally succeeds. It is only false for syntax
-errors or unusual circumstances such as memory shortages.")
-You can easily decode a file with its original, proposed filename using
+The &%decode%& condition normally succeeds. It is only false for syntax
+errors or unusual circumstances such as memory shortages. You can easily decode
+a file with its original, proposed filename using
 .code
 decode = $mime_filename
 .endd
@@ -28397,11 +28728,17 @@ out the values of all the &[local_scan()]& options.
 .cindex "&[local_scan()]& function" "available Exim variables"
 The header &_local_scan.h_& gives you access to a number of C variables. These
 are the only ones that are guaranteed to be maintained from release to release.
-Note, however, that you can obtain the value of any Exim variable,
-&new("including &$recipients$&,") by calling &'expand_string()'&. The exported
-variables are as follows:
+Note, however, that you can obtain the value of any Exim expansion variable,
+including &$recipients$&, by calling &'expand_string()'&. The exported
+variables are as follows:
 
 .vlist
+.vitem &*int&~body_linecount*&
+This variable contains the number of lines in the message's body.
+
+.vitem &*int&~body_zerocount*&
+This variable contains the number of binary zero bytes in the message's body.
+
 .vitem &*unsigned&~int&~debug_selector*&
 This variable is set to zero when no debugging is taking place. Otherwise, it
 is a bitmap of debugging selectors. Two bits are identified for use in
@@ -29270,7 +29607,7 @@ interface, you could include the following in the MAIL ACL:
 warn  hosts = 127.0.0.1
       control = submission
 .endd
-.cindex "&%sender_retain%&"
+.cindex "&%sender_retain%& submission option"
 There are some options that can be used when setting submission mode. A slash
 is used to separate options. For example:
 .code
@@ -29382,8 +29719,8 @@ sender or recipient addresses in SMTP commands, namely
 cases, if an unqualified address is accepted, it is qualified by adding the
 value of &%qualify_domain%& or &%qualify_recipient%&, as appropriate.
 
-.cindex "&%qualify_domain%&"
-.cindex "&%qualify_recipient%&"
+.oindex "&%qualify_domain%&"
+.oindex "&%qualify_recipient%&"
 Unqualified addresses in header lines are automatically qualified for messages
 that are locally originated, unless the &%-bnq%& option is given on the command
 line. For messages received over SMTP, unqualified addresses in header lines
@@ -29398,8 +29735,8 @@ other words, such qualification is also controlled by
 .cindex "&""From""& line"
 .cindex "UUCP" "&""From""& line"
 .cindex "sender" "address"
-.cindex "&%uucp_from_pattern%&"
-.cindex "&%uucp_from_sender%&"
+.oindex "&%uucp_from_pattern%&"
+.oindex "&%uucp_from_sender%&"
 .cindex "envelope sender"
 .cindex "Sendmail compatibility" "&""From""& line"
 Messages that have come from UUCP (and some other applications) often begin
@@ -29502,7 +29839,7 @@ Exim adds one, using the current date and time, unless the
 
 .section "The Delivery-date: header line" "SECID224"
 .cindex "&'Delivery-date:'& header line"
-.cindex "&%delivery_date_remove%&"
+.oindex "&%delivery_date_remove%&"
 &'Delivery-date:'& header lines are not part of the standard RFC 2822 header
 set. Exim can be configured to add them to the final delivery of messages. (See
 the generic &%delivery_date_add%& transport option.) They should not be present
@@ -29513,7 +29850,7 @@ messages.
 
 .section "The Envelope-to: header line" "SECID225"
 .cindex "&'Envelope-to:'& header line"
-.cindex "&%envelope_to_remove%&"
+.oindex "&%envelope_to_remove%&"
 &'Envelope-to:'& header lines are not part of the standard RFC 2822 header set.
 Exim can be configured to add them to the final delivery of messages. (See the
 generic &%envelope_to_add%& transport option.) They should not be present in
@@ -29568,7 +29905,7 @@ name as described in section &<<SECTconstr>>&.
 .section "The Message-ID: header line" "SECID226"
 .cindex "&'Message-ID:'& header line"
 .cindex "message" "submission"
-.cindex "&%message_id_header_text%&"
+.oindex "&%message_id_header_text%&"
 If a locally-generated or submission-mode incoming message does not contain a
 &'Message-ID:'& or &'Resent-Message-ID:'& header line, and the
 &%suppress_local_fixups%& control is not set, Exim adds a suitable header line
@@ -29612,7 +29949,7 @@ incoming message. If there are more than 12, the first one and then the final
 
 .section "The Return-path: header line" "SECID229"
 .cindex "&'Return-path:'& header line"
-.cindex "&%return_path_remove%&"
+.oindex "&%return_path_remove%&"
 &'Return-path:'& header lines are defined as something an MTA may insert when
 it does the final delivery of messages. (See the generic &%return_path_add%&
 transport option.) Therefore, they should not be present in messages in
@@ -29723,7 +30060,7 @@ accepted by that router, and also with any new addresses that it generates. If
 an address passes through several routers as a result of aliasing or
 forwarding, the changes are cumulative.
 
-.cindex "&%unseen%& option"
+.oindex "&%unseen%&"
 However, this does not apply to multiple routers that result from the use of
 the &%unseen%& option. Any header modifications that were specified by the
 &"unseen"& router or its predecessors apply only to the &"unseen"& delivery.
@@ -30363,7 +30700,7 @@ a &"success"& return code. Obviously there is scope for hints records to get
 left lying around if there is a system or program crash. To guard against this,
 Exim ignores any records that are more than six hours old.
 
-.cindex "&%smtp_etrn_command%&"
+.oindex "&%smtp_etrn_command%&"
 For more control over what ETRN does, the &%smtp_etrn_command%& option can
 used. This specifies a command that is run whenever ETRN is received,
 whatever the form of its argument. For
@@ -30703,7 +31040,7 @@ The &%forbid_pipe%& and &%forbid_file%& options prevent a local part from being
 expanded into a file name or a pipe delivery, which is usually inappropriate in
 a mailing list.
 
-.cindex "&%errors_to%&"
+.oindex "&%errors_to%&"
 The &%errors_to%& option specifies that any delivery errors caused by addresses
 taken from a mailing list are to be sent to the given address rather than the
 original sender of the message. However, before acting on this, Exim verifies
@@ -31205,7 +31542,7 @@ Exim already had the necessary infrastructure for doing this job. Just a few
 tweaks were needed to make it behave as required, though it is somewhat of an
 overkill to use a fully-featured MTA for this purpose.
 
-.cindex "&%mua_wrapper%&"
+.oindex "&%mua_wrapper%&"
 There is a Boolean global option called &%mua_wrapper%&, defaulting false.
 Setting &%mua_wrapper%& true causes Exim to run in a special mode where it
 assumes that it is being used to &"wrap"& a command-line MUA in the manner
@@ -31255,7 +31592,7 @@ are ever generated.
 No retry data is maintained, and any retry rules are ignored.
 .next
 A number of Exim options are overridden: &%deliver_drop_privilege%& is forced
-true, &%max_rcpt%& in the smtp transport is forced to &"unlimited"&,
+true, &%max_rcpt%& in the &(smtp)& transport is forced to &"unlimited"&,
 &%remote_max_parallel%& is forced to one, and fallback hosts are ignored.
 .endlist
 
@@ -31339,14 +31676,12 @@ example:
 .endd
 .endlist
 
-.new
 .cindex "log" "process ids in"
 .cindex "pid (process id)" "in log lines"
 Exim does not include its process id in log lines by default, but you can
 request that it does so by specifying the &`pid`& log selector (see section
 &<<SECTlogselector>>&). When this is set, the process id is output, in square
 brackets, immediately after the time and date.
-.wen
 
 
 
@@ -31784,13 +32119,9 @@ the following table:
 .display
 &`A   `&        authenticator name (and optional id)
 &`C   `&        SMTP confirmation on delivery
-.new
 &`    `&        command list for &"no mail in SMTP session"&
-.wen
 &`CV  `&        certificate verification status
-.new
 &`D   `&        duration of &"no mail in SMTP session"&
-.wen
 &`DN  `&        distinguished name from peer certificate
 &`DT  `&        on &`=>`& lines: time taken for a delivery
 &`F   `&        sender address (on delivery lines)
@@ -31889,9 +32220,7 @@ selection marked by asterisks:
 &`*queue_run                  `&  start and end queue runs
 &` queue_time                 `&  time on queue for one recipient
 &` queue_time_overall         `&  time on queue for whole message
-.new
 &` pid                        `&  Exim process id
-.wen
 &` received_recipients        `&  recipients on <= lines
 &` received_sender            `&  sender on <= lines
 &`*rejected_header            `&  header contents on reject log
@@ -31904,9 +32233,7 @@ selection marked by asterisks:
 &` smtp_confirmation          `&  SMTP confirmation on => lines
 &` smtp_connection            `&  SMTP connections
 &` smtp_incomplete_transaction`&  incomplete SMTP transactions
-.new
 &` smtp_no_mail               `&  session with no MAIL commands
-.wen
 &` smtp_protocol_error        `&  SMTP protocol errors
 &` smtp_syntax_error          `&  SMTP syntax errors
 &` subject                    `&  contents of &'Subject:'& on <= lines
@@ -32025,12 +32352,10 @@ containing => tags) following the IP address. This option is not included in
 the default setting, because for most ordinary configurations, the remote port
 number is always 25 (the SMTP port).
 .next
-.new
 .cindex "log" "process ids in"
 .cindex "pid (process id)" "in log lines"
 &%pid%&: The current process id is added to every log line, in square brackets,
 immediately after the time and date.
-.wen
 .next
 .cindex "log" "queue run"
 .cindex "queue runner" "logging"
@@ -32140,7 +32465,6 @@ RSET, QUIT, loss of connection, or otherwise, the incident is logged,
 and the message sender plus any accepted recipients are included in the log
 line. This can provide evidence of dictionary attacks.
 .next
-.new
 .cindex "log" "non-MAIL SMTP sessions"
 .cindex "MAIL" "logging session without"
 &%smtp_no_mail%&: A line is written to the main log whenever an accepted SMTP
@@ -32167,7 +32491,6 @@ than 20 commands, they are all listed. If there were more than 20 commands,
 the last 20 are listed, preceded by &"..."&. However, with the default
 setting of 10 for &%smtp_accep_max_nonmail%&, the connection will in any case
 have been aborted before 20 non-mail commands are processed.
-.wen
 .next
 .cindex "log" "SMTP protocol error"
 .cindex "SMTP" "logging protocol error"
@@ -32222,7 +32545,7 @@ result of a list match is failure because a DNS lookup failed.
 .cindex "message" "log file for"
 .cindex "log" "message log; description of"
 .cindex "&_msglog_& directory"
-.cindex "&%preserve_message_logs%&"
+.oindex "&%preserve_message_logs%&"
 In addition to the general log files, Exim writes a log file for each message
 that it handles. The names of these per-message logs are the message ids, and
 they are kept in the &_msglog_& sub-directory of the spool directory. Each
@@ -32429,7 +32752,6 @@ extracts all the log entries for the relevant message, not just those that
 match the pattern. Thus, &'exigrep'& can extract complete log entries for a
 given message, or all mail for a given user, or for a given host, for example.
 The input files can be in Exim log format or syslog format.
-.new
 If a matching log line is not associated with a specific message, it is
 included in &'exigrep'&'s output without any additional lines. The usage is:
 .display
@@ -32453,7 +32775,6 @@ regular expression.
 
 The &%-v%& option inverts the matching condition. That is, a line is selected
 if it does &'not'& match the pattern.
-.wen
 
 If the location of a &'zcat'& command is known from the definition of
 ZCAT_COMMAND in &_Local/Makefile_&, &'exigrep'& automatically passes any file
@@ -33718,11 +34039,8 @@ If the message is in MIME format, you must take care not to break it.
 If the message is cryptographically signed, any change will invalidate the
 signature.
 .endlist
-.new
 All in all, modifying -D files is fraught with danger.
-.wen
 
-.new
 Files whose names end with -J may also be seen in the &_input_& directory (or
 its subdirectories when &%split_spool_directory%& is set). These are journal
 files, used to record addresses to which the message has been delivered during
@@ -33732,7 +34050,6 @@ is some kind of crash (for example, a power outage) before this happens, the -J
 file remains in existence. When Exim next processes the message, it notices the
 -J file and uses it to update the -H file before starting the next delivery
 attempt.
-.wen
 
 .section "Format of the -H file" "SECID282"
 .cindex "uid (user id)" "in spool file"
@@ -33740,7 +34057,7 @@ attempt.
 The second line of the -H file contains the login name for the uid of the
 process that called Exim to read the message, followed by the numerical uid and
 gid. For a locally generated message, this is normally the user who sent the
-message. For a message received over TCP/IP &new("via the daemon"), it is
+message. For a message received over TCP/IP via the daemon, it is
 normally the Exim user.
 
 The third line of the file contains the address of the message's sender as