Bugzilla 1217: Experimental Redis lookup

Add want_experimental() test in the script to create the lookups
  Makefile to ease detection of requested Experimental features, and
  simplify the #ifdef guards in the redis.c.

Do not use MSG_NOSIGNAL on send() in ${udpsend}

Some non-Posix systems don't define it.  Anyway, Exim ignores SIGPIPE for most purposes.

Merge branch 'patch-3' of https://github.com/bes-internal/exim into master_dmarc_doc

Added documentation of features, acknowledgements

Add ratelimit doc addition to ChangeLog

Typo re-fix in ratelimit.pl doc

Merge branch 'patch-1' of https://github.com/bes-internal/exim into master-bes-ratelimit.pl

Merge branch 'master_tpda'

Adjust test build link paths.

Details at: http://comments.gmane.org/gmane.mail.exim.user/91154
Add ignore for a logfile from test run.

Bug 1031: Experimental TPDA

Remove whitespace

Remove whitespace

fix dmarc_status condition documentation

Fix dovecot with empty 334 challenge.

Thomas Morper reported, with 4.82RC1, that he saw "334 NULL" as the
challenge when using AUTH PLAIN to Dovecot when the client does not send
an initial response.  I could replicate.

This was caused by commit 3f1df0e3 on 2012-11-19 (PP/13 of 4.82); I was
too cautious in the robustness fixes; the clue came in this line of
debug output:

    76430 dovecot: warning: ignoring trailing tab

This change removes that check, and documents in a comment that this
input is acceptable protocol-wise, and why.

With this fix:

    AUTH PLAIN
    334
    AGZyZWRlcmljAGh1bXB0eS1kdW1wdHk=
    235 Authentication succeeded

small typo

Correct spelling of dmarc_disable_verify

Add cscope.files build target

Fix non-IPv6 compile on v6-less system

ratelimit.pl: format usage section, print debug to STDERR, add examples

Document hexquote & udpsend in NewStuff/ChangeLog

Tony documented his new features in 7a5698fa; this change simply adds
them to the list of things that have changed.

Clarify CL: the CVE security fix already in 4.80.1

On re-reading the text for 4.82, it read as though there were a new
security fix which might require an upgrade.  Clarified that this fix
has already been released (in 4.80.1).

Additions to the NewStuff summary file

Add documentation for new $authenticated_fail_id

Bug 1287 - Fix tls_require_cert

Prevent TLS rebinding in LDAP connections

Bugzilla 1375

Add expansion $authenticated_fail_id

ChangeLog

Fix numeric comparisons for 64b.  Bug 1385

ChangeLog is in chronological order within each release.

numbers are sequential, namespaced by users.

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Make sender/recipient search case-insensitive

tls_dhparam size constraint suggestions.

Between NSS and Debian patching of older Exim releases, there's a narrow
range of values likely to interoperate well.  Document this.

GnuTLS website moves

Fix segfault in stdio with non-SMTP MIME ACL.

When injecting a message locally in non-SMTP mode, and with MIME ACLs
configured, if the ACL rejected the message, Exim would try to
`fprintf(NULL, "%s", the_message)`.  This fixes that.

Most ACLs are plumbed in SMTP-only and looking through the others in
receive.c, they all appear to be safely guarded, so it was just this one
that slipped through.

Crash report and assistance tracking down the root cause from Warren
Baker.

Fix debug output in ${acl }

More tidying of ACL-config skip

Remove ACL-config skip so that ${acl } expansions work from queue-runs.

Previously we skipped parsing the ACL section when not needed.  Now it is
potentially needed in all cases.  The skip was ~5% faster than a full parse
so probably not a large part of the exim process startup.

Fix up testsuite output files affected by the removal and add a regression test.

Add gdb history file to git ignore

Add test for ${hexquote:

Add notes and helper-script for OCSP

Use function macro instead of explicit arg cast.

Quiet signedness compiler warnings.

Support safari_ecdhe_ecdsa_bug for openssl_options

Guard LDAP TLS usage against Solaris LDAP variant.

PP/22
Report from Prashanth Katuri.

This variant ensures that if TLS won't be activated because of
compile-time guards, but was requested, then we at least debug-log _why_
we're not doing anything.

Fix eximon continuous updating with timestamped log-files.

Report and fix from Heiko Schlichting.

Fixes 1363.

Add doc comment on use of forany.

readconf: clarify a retry rule parsing error message

Submitted by: Paul Osborne <paul.osborne@canterbury.ac.uk>

Documentation for udpsend and ${hexquote:

The udpsend ACL modifier.

This is for reporting mailer activity without going via the log files.

${hexquote: expansion operator

This converts octets outside the range 0x21-0x7E (the ASCII
graphic characters) to \xNN hex escapes.

Merge branch 'callout_auth'

Log AUTH info on cutthrough deliveries.

Typo in doc source.

Support AUTH for verify-callout and cutthrough-delivery.

Refactored smtp transport to pull out AUTH-related routines so they could be
also called from the verify code.

Bugs 321, 823.

Add compile-time checks for various tables being in alphabetical order.

This is gross hackery and somewhat fragile.  A better method would
actuallyt compile the 'C' involved and check programmatically.

Fix dns_retry definition.

Was placed in non-alphabetical order.

Security considerations: running local commands

Call out the dangers of use_shell in the security considerations
chapter.

Call out a number of related dangers too.

Use enum for cutthrough receive processing state.

Document PRDR, OCSP & DMARC options in OptionLists file.

Add entry to Changelog.

Remove static from local variable declaration.

Fix history file logging to use correct variables

Remove SPF domain synthesis, just use HELO.

Withhold TLD load error if not defined in conf

Move DKIM endif.

Fix a few cosmetic differences.

DMARC documentation and license

DMARC support by opendmarc libs

Fix runtest -CONTINUE to work everywhere

Changes the $more variable to just cat the changes to STDOUT and not
  pipe it through less or more.

Drop mistakenly-added test config

Merge branch 'ocsp_staple_rollup'

* ocsp_staple_rollup:
  tidying
  OCSP-stapling enhancement and testing.

Update testsuite case 0390 for force_command addition to pipe transport

Fix -p doc mention of Perl -pd conflict.

Reported by Heiko Schlichting.
fixes 1345

Ensure OpenSSL entropy state reset across forks.

Note that this function is never going to be called pre-fork unless the
admin is doing something highly unusual with ${randint:..} in a context
evaluated in the listening daemon.  Other forks should result in a
re-exec(), thus resetting state.

Nonetheless, be more cautious, explicitly reset state.

Fix per PostgreSQL.

PS: why does OpenSSL not document RAND_cleanup() on the same page as all
    the other entropy pool maintenance functions?

Clean & integrate force_command.

Work by J. Nick Koston, for cPanel, Inc.

tidying

Add the force_command option to the pipe transport

Normally when a router redirects an address directly to a pipe command
the command option on the transport is ignored.  If force_command
is set, the command option will expanded and used. This is especially
useful for forcing a wrapper or additional argument to be added to the
command.

OCSP-stapling enhancement and testing.

Server:
  Honor environment variable as well as running_in_test_harness in permitting bogus staplings
  Update server tests
  Add "-ocsp" option to client-ssl.
  Server side: add verification of stapled status.
  First cut server-mode ocsp testing.
  Fix some uninitialized ocsp-related data.

Client (new):
  Verify stapling using only the chain that verified the server cert, not any acceptable chain.
  Add check for multiple responses in a stapling, which is not handled
  Refuse verification on expired and revoking staplings.
  Handle OCSP client refusal on lack of stapling from server.
  More fixing in client OCSP: use the server cert signing chain to verify the OCSP info.
  Add transport hosts_require_ocsp option.
  Log stapling responses.
  Start on tests for client-side.

Testing support:
    Add CRL generation code and documentation update
    Initial CA & certificate set for testing.

BUGFIX:
    Once a single OCSP response has been extracted the validation
    routine return code is no longer about the structure, but the actual
    returned OCSP status.

Rename dns_use_dnssec to dns_dnssec_ok.

This per Tony's suggestion; this makes it clearer that we are merely
setting resolver flags, not performing validation ourselves.

Well, clearer to those who understand DNSSEC.  For everyone else,
they'll still be dependent upon a forthcoming new chapter to the
Specification.

OpenSSL fix empty tls_verify_certificates.

New behaviour matches GnuTLS handling, and is documented.

Previously, a tls_verify_certificates expansion forced failure was the
only portable way to avoid setting this option.  Now, an empty string is
equivalent.

Guard smtp_user_msg() with EXPERIMENTAL_PRDR check.

Resolves:

    gcc receive.c
    receive.c:520: warning: 'smtp_user_msg' defined but not used

configure.default handle IPv6 localhost better.

Base patch by Alain Williams.
Tweaked, to avoid putting an IPv6-dependency into the default
uncommented form, and some rewording.

Bugzilla 880.
GitHub PR #1.

Document the last change in ChangeLog

Handle recursion better, caused by ACLs.

Issue debugged by Todd Lyons, this fix from me.

Bug 1339: DCC update (Wolfgang Breyha)

Add a few temp doc items to ignore

tls_out.sni fix for ancient-OpenSSL #ifdef branch

PRDR support, if compiled with EXPERIMENTAL_PRDR

Update eximstats to watch out for senders sending 'HELO [IpAddr]'

Fix GNU Hurd interface IPv6 address detection.

Define SIOCGIFCONF_GIVES_ADDR in OS/os.h-GNU

Fixes 1331.

Typo & nit fixes.

JH has made more changes than he realised.  New second JH/11 to JH/13.

Restrict lifetime of $router_name and $transport_name. Bug 308.

The router name is explicitly nulled after the router exits;
the transport name is set only in the subprocess it runs in.

Add $router_name and $transport_name variables.  Bug 308.

gen_pkcs3: add comment explaining rationale

Wondering why you wrote some code and having to grep the source code to find out,
in the same year that you wrote it, is generally a sign of missing information.

Fixed.

Typo fixes (experimental-spec)

Update testsuite (gnutls) outputs to match 6822b9.

Add notification of OCSP-stapling facility inclusion.

GnuTLS-FAQ: typo fixes & glitch re standard primes

Mostly typos.

Was one instance of "which a future release of Exim will probably support"
which should already have been "which Exim now supports". Doh. Fixed
too.

Initialise OCSP-related pointers before use.

Document scripts/lookups-Makefile for new lookups.

Missing step for adding a new lookup noticed by Paul Gamble.

OCSP/SNI: set correct callback.

Caught by Jeremy; was wrong in (my) original commit, the dual-TLS work
had just renamed the variables and theoretically made it more visible.
I still missed it.

The server_sni context initialisation was setting the OCSP status
callback context parameter back on the original server_ctx instead of
the new server_sni context.

I guess OCSP and SNI aren't being used together in Exim much yet.

Fix tests 5400, 5401, 5410, 5420 to work under any user.

Note build fixes in ChangeLog