Merge branch 'ocsp_staple_rollup'

* ocsp_staple_rollup:
  tidying
  OCSP-stapling enhancement and testing.

Update testsuite case 0390 for force_command addition to pipe transport

Fix -p doc mention of Perl -pd conflict.

Reported by Heiko Schlichting.
fixes 1345

Ensure OpenSSL entropy state reset across forks.

Note that this function is never going to be called pre-fork unless the
admin is doing something highly unusual with ${randint:..} in a context
evaluated in the listening daemon.  Other forks should result in a
re-exec(), thus resetting state.

Nonetheless, be more cautious, explicitly reset state.

Fix per PostgreSQL.

PS: why does OpenSSL not document RAND_cleanup() on the same page as all
    the other entropy pool maintenance functions?

Clean & integrate force_command.

Work by J. Nick Koston, for cPanel, Inc.

tidying

Add the force_command option to the pipe transport

Normally when a router redirects an address directly to a pipe command
the command option on the transport is ignored.  If force_command
is set, the command option will expanded and used. This is especially
useful for forcing a wrapper or additional argument to be added to the
command.

OCSP-stapling enhancement and testing.

Server:
  Honor environment variable as well as running_in_test_harness in permitting bogus staplings
  Update server tests
  Add "-ocsp" option to client-ssl.
  Server side: add verification of stapled status.
  First cut server-mode ocsp testing.
  Fix some uninitialized ocsp-related data.

Client (new):
  Verify stapling using only the chain that verified the server cert, not any acceptable chain.
  Add check for multiple responses in a stapling, which is not handled
  Refuse verification on expired and revoking staplings.
  Handle OCSP client refusal on lack of stapling from server.
  More fixing in client OCSP: use the server cert signing chain to verify the OCSP info.
  Add transport hosts_require_ocsp option.
  Log stapling responses.
  Start on tests for client-side.

Testing support:
    Add CRL generation code and documentation update
    Initial CA & certificate set for testing.

BUGFIX:
    Once a single OCSP response has been extracted the validation
    routine return code is no longer about the structure, but the actual
    returned OCSP status.

Rename dns_use_dnssec to dns_dnssec_ok.

This per Tony's suggestion; this makes it clearer that we are merely
setting resolver flags, not performing validation ourselves.

Well, clearer to those who understand DNSSEC.  For everyone else,
they'll still be dependent upon a forthcoming new chapter to the
Specification.

OpenSSL fix empty tls_verify_certificates.

New behaviour matches GnuTLS handling, and is documented.

Previously, a tls_verify_certificates expansion forced failure was the
only portable way to avoid setting this option.  Now, an empty string is
equivalent.

Guard smtp_user_msg() with EXPERIMENTAL_PRDR check.

Resolves:

    gcc receive.c
    receive.c:520: warning: 'smtp_user_msg' defined but not used

configure.default handle IPv6 localhost better.

Base patch by Alain Williams.
Tweaked, to avoid putting an IPv6-dependency into the default
uncommented form, and some rewording.

Bugzilla 880.
GitHub PR #1.

Document the last change in ChangeLog

Handle recursion better, caused by ACLs.

Issue debugged by Todd Lyons, this fix from me.

Bug 1339: DCC update (Wolfgang Breyha)

Add a few temp doc items to ignore

tls_out.sni fix for ancient-OpenSSL #ifdef branch

PRDR support, if compiled with EXPERIMENTAL_PRDR

Update eximstats to watch out for senders sending 'HELO [IpAddr]'

Fix GNU Hurd interface IPv6 address detection.

Define SIOCGIFCONF_GIVES_ADDR in OS/os.h-GNU

Fixes 1331.

Typo & nit fixes.

JH has made more changes than he realised.  New second JH/11 to JH/13.

Restrict lifetime of $router_name and $transport_name. Bug 308.

The router name is explicitly nulled after the router exits;
the transport name is set only in the subprocess it runs in.

Add $router_name and $transport_name variables.  Bug 308.

gen_pkcs3: add comment explaining rationale

Wondering why you wrote some code and having to grep the source code to find out,
in the same year that you wrote it, is generally a sign of missing information.

Fixed.

Typo fixes (experimental-spec)

Update testsuite (gnutls) outputs to match 6822b9.

Add notification of OCSP-stapling facility inclusion.

GnuTLS-FAQ: typo fixes & glitch re standard primes

Mostly typos.

Was one instance of "which a future release of Exim will probably support"
which should already have been "which Exim now supports". Doh. Fixed
too.

Initialise OCSP-related pointers before use.

Document scripts/lookups-Makefile for new lookups.

Missing step for adding a new lookup noticed by Paul Gamble.

OCSP/SNI: set correct callback.

Caught by Jeremy; was wrong in (my) original commit, the dual-TLS work
had just renamed the variables and theoretically made it more visible.
I still missed it.

The server_sni context initialisation was setting the OCSP status
callback context parameter back on the original server_ctx instead of
the new server_sni context.

I guess OCSP and SNI aren't being used together in Exim much yet.

Fix tests 5400, 5401, 5410, 5420 to work under any user.

Note build fixes in ChangeLog

Avoid unnecessary rebuilds of lookup helper functions.

Avoid spurious rebuilds of the dynamic lookups Makefile.

This was noticable when re-building as a non-privileged user
after installing as root; lookups/Makefile had been rebuilt
by root and when it was rebuilt again by the unprivileged user
`mv` demanded confirmation before overwriting the file.

Fix tests 5401 and 5410 when not run under a user named eximtest.

Fix test 5400 when not run under a user named eximtest.

A safer version of the check for gecos expansion.

More test updates following the retry fix.

Most of these are due to the changes in the logging of
ultimate timeout checks.

Test 0548 is more meaningfully affected. The test originally
failed to spot that the recipient-specific deferrals pushed
past the ultimate retry timeout.

Update test 0357 following the retry fix.

Make gecos expansion work with test 0412 as well as 0254.

Added DCC entry to Changelog as GF/01 (2nd attempt)

Revert "Added DCC entry to Changelog as GF/01"

This reverts commit fee685ddb4cb1a995556b5cc35df907ae7a8ad62.

Added DCC entry to Changelog as GF/01

Fix my earlier "fix" for intermittently deliverable recipients.

Only do the ultimate address timeout check if there is an address
retry record and there is not a domain retry record; this implies
that previous attempts to handle the address had the retry_use_local_parts
option turned on. We use this as an approximation for the destination
being like a local delivery, as in LMTP.

Correct gecos expansion when From: is a prefix of the username.

Test 0254 submits a message to Exim with the header

  Resent-From: f

When I ran the test suite under the user fanf2, Exim expanded
the header to contain my full name, whereas it should have added
a Resent-Sender: header. It erroneously treats any prefix of the
username as equal to the username.

This change corrects that bug.

Explain the 3 SSL_CTX we have

Fix eximon build.

Add retry timeout fix to ChangeLog

Fix ultimate retry timeouts for intermittently deliverable recipients.

When a queue runner is handling a message, Exim first routes the
recipient addresses, during which it prunes them based on the retry
hints database. After that it attempts to deliver the message to
any remaining recipients. It then updates the hints database using
the retry rules.

So if a recipient address works intermittently, it can get repeatedly
deferred at routing time. The retry hints record remains fresh so the
address never reaches the final cutoff time.

This is a fairly common occurrence when a user is bumping up against
their storage quota. Exim had some logic in its local delivery code
to deal with this. However it did not apply to per-recipient defers
in remote deliveries, e.g. over LMTP to a separate IMAP message store.

This commit adds a proper retry rule check during routing so that
the final cutoff time is checked against the message's age. I also
took the opportunity to unify three very similar blocks of code.

I suspect this new check makes the old local delivery cutoff check
redundant, but I have not verified this so I left the code in place.

Use new .copyyear macro

Revert copyright years to manual-update.  Bug 1318.

Insert version number and date into documentation at build time.  Bug 1318.

Write a temp file with macro definitions from the makefile, and include it
from the doc sources.  Pass the version to make from the perl script.

It is still needed to manually update the previous-version number and
changebar indicators (.new/.wen) manually.

DCC debug and logging tidy

Fix merge problem.

Check syscall return values.

Mostly just compiler-quietening rather than intelligent error-handling.
This deals with complaints of "attribute warn_unused_result" during an rpm
build for SL6 (probably for Fedora also).

Fix 64b build.

Dovecot: robustness; better msg on missing mech.

If the dovecot protocol response doesn't include the MECH message for
the SMTP AUTH protocol the client has requested, that's not a protocol
failure, don't log it as such.  Instead, explicitly log that it didn't
advertise the mechanism we're looking for.  This lets administrators fix
either their Exim or their Dovecot configurations.

Also: make the Dovecot handling more resistant to bad data from the auth
server; handle too many fields with debug-log message to explain what's
going on, permit lines of 8192 length per spec and detect if the line is
too long, so that we can fail auth instead of becoming unsynchronised.

Stop using the CUID from the server as the AUTH id counter.  They're
different, by my reading of the spec.

TESTED: works against Dovecot 2.1.10.

Thanks to Brady Catherman for reporting the problem with diagnosis.

More compiler quietening.

More compiler quietening.

More compiler quitening.

Fix initializer for struct tls_support, per edc33b5f1aca and 817d9f576cd.

Configure should stop on error.

Set the POSIX -e option on the #! line invoking /bin/sh.
If any of the sub-commands fail, the Configure as a whole should fail.

Auth info from transports must be tracked per-address.

Ensure that recipient is well-defined for expansion-called acl at RCPT-time.

ChangeLog update for NTLM/server_set_id

Fix server_set_id for SPA/NTLM auth.

Broken in 4.80 release, commit 08488c86.

We need to leave $auth1 available after the authenticator returns, so
that server_set_id can be evaluated by the caller.  We need to do this
whether we succeed or fail, because server_set_id only makes it into
$authenticated_id if we return OK, but is logged regardless.

Updated test config to set server_set_id; updated logs.

Add optional authenticated_sender info to A= elements of log lines; bug 1314.

New log_selector, smtp_mailauth, to enable.

Docs fixup

Add A= to delivery log lines, and a client_set_id option to authenticators.

Track ACL context through ${acl expansions. Bug 1305.

Rather than pass "where" around all the string-expansion calls I've
used a global; and unpleasant mismatch with the existing "where"
tracking done for nested ACL calls.

Quieten complaining compilers.

Update testsuite outputs to match 333b9d.

4.81 to 4.82

Avoiding confusion of 4.80.1 vs 4.81, we went with skipping to 4.82 instead.

Merge 4.80.1 security fix in.

Merge commit '4263f395efd136dece52d765dfcff3c96f17506e'

Amendment to ChangeLog to handle changes.

Merge branch 'master' of git://git.exim.org/exim

Save/restore $acl_arg1 ... across acl calls, making them local variables.

SECURITY: DKIM DNS buffer overflow protection

CVE-2012-5671

malloc/heap overflow, with a 60kB window of overwrite.
Requires DNS under control of person sending email, leaves plenty of
evidence, but is very likely exploitable on OSes that have not been
well hardened.

Example tune for clarity (reverse_ip)

Use a last octet which will highlight the hex nature in the example.
> ${reverse_ip:2001:0db8:c42:9:1:abcd:192.0.2.127}
f.7.2.0.0.0.0.c.d.c.b.a.1.0.0.0.9.0.0.0.2.4.c.0.8.b.d.0.1.0.0.2

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Adjust debug output to indicate a test, not result

Note post-DATA ACL ordering.

DKIM, then MIME, then DATA.

(Also CHID12 -> CHAPdkim)

Avoid reset of store pool in expand when a ${acl is used; it may have side-effects that must
be persistent.

Doc fix: log field M8S=, in details section

Move Wolfgang's ack to current section

Logging-only patch for 8BITMIME; bug 817.

Add smarthost Router to default config, commented-out.

This is a very common requirement for the portion of the user-base who need the most assistance.

Add expansion variable $headers_added returning newline-sep list of headers
added in ACLs.  Bug 199.

Strip leading/trailing newlines on list of headers for addition; bug 884.

NB: this means a bare "X-ACL-Warn:" header is harder to add.

Releases signed by Phil's key, not Nigel's.

State a more general policy of PGP signing, mention trust paths, cite
the main public keyserver pool, provide a link to a trustpath display
between Nigel's key and Phil's.

Provide Phil's current PGP keyid (noting will change in 2013).

Bounce via a redirector, on Phil's security site, because:
 (1) xfpt barfs on &url(..) where the URL contains an ampersand
 (2) No ampersands means less debugging across various platforms
 (3) The redirector is https: with a public cert, where www.exim.org
     does not have a cert (with that name, at this time).

All keys cited in 0xLong form (16 hex characters).

Nits:
 (1) URL is given with https:// on one line, the rest on the next
 (2) using alt text does not give the URL in the .txt format, despite
     the docs, because we build .txt from w3m -dump, so the HTML form is
     used.
 (3) Ideally, we'll get around to having https://www.exim.org/ exist and
     be usable for this redirect.

Side-effects:
 (1) My name is in The Spec for the first time. :)

Unbreak non-ipv6 build.

My commit 3a7963704c519 broke compilation without HAVE_IPv6.  Rework.

Add doc caveats on cutthrough-delivery vs. verify-mode routers.

Fix expected test output file with return before linefeed.

Typo in debug output.

Minor doc nits re bug 1262.

Update src comment to be clearer about why it's safe for "state of this transport" to affect other deliveries.
Mention change in externally observable state in README.UPDATING.
Reference bugzilla entry in ChangeLog.
Update Paul's credit in ACKNOWLEDGMENTS.

Avoid using a waiting db for single-message-only transports.  Performance
bug 1262 and patch from Paul Fisher.  Testcase 0288 exercises.

Update manual on the logging of cutthrough-mode deliveries.

minor nits.

Some whitespace changes; 4.73 item 8: bool_lax{} is an expansion condition, not e. operator.
Fix a comma to a period.

Add dnsdb lookup pseudo-type "a+".   Addresses bug 1269.

Bugtrack 1290 - Spec grammar fixes.

Submitted by Regid.