Merge branch 'master' of git://git.exim.org/exim

Mark cases where printf format strings are used
Bug report from Lars Müller <lars@samba.org> (via SUSE),
Patch from Dirk Mueller <dmueller@suse.com>

Bug 1224: fixup testsuite case output from testdb.

Add testsuite case retry (without update) option on failed file compare.

Accept change in testcase munged output for -bt

Trailing spaces were trimmed by commit 37acd760db

Bug 1224 followon - avoid breaking other testcases.

Add specific patterns to avoid when munging the output.
This is fragile and may still be broken outside my specific test environment.

Fix bug 1224.

Replace the lookup index char in sterr traces with a zero;
update testcase expected stderr files to match.

Fix bug 1229.

Update testcase output with now-expected info.

Testcase changes to match changes introduced by bug 1214.

Additional "A=" authenticator info was added to log lines for rejections.

Merge remote branch 'origin'

Handle TAB, not just SP, in MAIL args.

Analysis, diagnosis and variant patch by Todd Lyons.

Updated OptionsList with gsasl, heimdal_gssapi, _PC changes.

Also maildir_use_size_file is now expanded

Two clarifications.

String expansion, draw more attention to &dagger; marking.

Document the order in which parameters are supplied to relative comparators.

Fix IPv6 RE

fix gsasl / cyrus claims

Point 1 for 4.78 said gsasl could *not* be used to replace cyrus.
This was obsoleted by point 5.
Remove claim from point 1, add additional note to point 5.

Handle alternate access method flag in ls.

Jeremy Harris found ls output not parsing on SELinux systems.  I
identified this as SUSv3's "optional alternate access method flag".
Jeremy wrote the patch, I adjusted a little.

fixes bug 1226

set umask

fixes bug 1228

handle more of the new format version numbers

Merge branch 'dbmjz'

heimdal_gssapi: accept SASL with empty authzid

Saw this happening with Apple Mail; accept it, dup the GSS Display Name

Add dbmjz lookup type

Log auth data in rejectlog.

http://bugs.exim.org/attachment.cgi?id=547&action=edit
fixes bug: 1214
Patch by Jeremy Harris

expand cyrus_sasl server_realm option

Merge branch 'sasl_fixes'

Use gsasl_property_fast() in property callback.

Avoids the loops which we only cancel out anyway.

Document pkg-config for TLS

Support pkg-config for SSL libraries.

Also: update EDITME to refer to pkg-config & AUTH_HEIMDAL_GSSAPI.

Document pkg-config

Swap gsasl GSSAPI $auth1/$auth2

Drop server_realm from heimdal_gssapi

Document heimdal_gssapi as it works now.

Minor cleanups.

multi-blank-line protection never set the bool needed
OID-method for keytab setting cleanup (drop <roken.h> and fix comments)

Use gsskrb5_register_acceptor_identity

Drop the OID and pseudo-standard GSSAPI extension mechanism.
Found Heimdal-specific API call I needed, works great.
gsskrb5_register_acceptor_identity(filename)

Separately: add various debug statements.

First pass heimdal_gssapi authenticator.

Not yet working, failing to set keytab.

Also: support (AUTH|LOOKUP)_*_PC=foo to use `pkg-config foo` for cflags/libs.

Document gsasl integration

More bug-fixes, GSASL DIGEST-MD5 now works.

Defined helper streqic() since I seem tired enough to be forgetting ==0 checks.
Deal with left-over-data-to-send correctly.
Now tested with PLAIN, CRAM-MD5, DIGEST-MD5.
For DIGEST-MD5, check for server_realm, since GSASL doesn't error out without it.

remove stray globals block

Implemented gsasl driver for authentication.

Missing: documentation; tests.

Tested: PLAIN auth.

Status: probably buggy

Documentation for $tls_bits and SASL changes

Various SASL fixes.

Export $tls_bits new expansion variable (not yet documented).
Fix tls-gnu.c so that ciphername string construction uses bit-count, not byte-count.
Avoid hard-coding primary_hostname in first call to init Cyrus SASL.
Cast fix for function pointer (Cyrus-SASL uses void params in struct entry funcptr, so need to cast).
Many more debug statements in cyrus_sasl.c
Pass external SSF from TLS cipher into Cyrus SASL initialisation.
Detect when we can't get an identity from SASL properties (error out correctly).
Detect when SASL negotiated a protection layer and error out, since we do not support those.

bool{} is false for empty strings

fixes bug 1193
reported by Jasen Betts.

Documentation had primary_host_name for primary_hostname. Fixes: #1169

eximstats DATA reject detection regexps improved. Fixes: #1093

Documentation fix. Fixes: #949

Handle short writes on logfiles.

fixes bug 1053

Merge branch 'log_retry'

Rough readme mainly for benefit of github

Pod translator is lousing up - may move to a different
format for the future.  [issues are with L<> links]

log_write EINTR handling on write()

Parallel build fixes for lookups

Make lookups depend upon PHDRS not HDRS.
Make parent dir depend upon child build target for lookups

ASCII NUL in desc of $body_zerocount (keyword grepability)

EXPAND_LISTMATCH_RHS for match_ip too

PCRE_PRERELEASE is a bare sequence, not a string.

Unbreak release.sh for final releases

Update release date, prep for 4.77 final cut

Testsuite: also handle -XX in version

More testsuite fixes

Make runtest more resilient to setup problems

fix unprotected variable in SQL example

Make README.UPDATING more explicit, with more examples, about the impact of the match_<type> changes

exiqgrep: handle queue line size output too small for K

rework userforward local_part_suffix documentation

Loosely based on suggestion from Julian Gilbey.
fixes bug 1139.

shut up bogus complaint of unused variable in new ratelimit ACL work

Apply patch from Dmitry Isaikin fixing log.c format string.

fixes bug 1152.

fix sub2_honour_dollar type

Was code correct before, but storing a ptr of 0 or 1, from bool initialiser.
I meant to use a BOOL and it is more type-safe to do so, so fixed.

quote var for case stmt, so that old shell will see it as empty, rather than syntax error

test for .git dir with -d not -e; more portable

Solaris/Irix portability hacks for reversion

source referenced version.sh file always

Tested for version.sh in cwd, but used . to source, assuming that
would pull in file from cwd.  True on BSD (checked after $PATH) but
not part of POSIX and not true for bash when in POSIX mode.

PP/12 fix uninitialised greeting string from PP/03

Exim 4.77: documentation version updates.

Merge branch 'list_safety'

(gnutls fixes had updated some text docs)

EXPAND_LISTMATCH_RHS plumbed into build makefiles.

Tested builds both with and without this option, behaviour matches expectations.

match_* do not expand RHS, unconditionally.

EXPAND_LISTMATCH_RHS define is checked, but not yet plumbed that into build system.

Implement inlist/inlisti expansion conditions

Document match_*/inlist changes (before coding starts)

Make sure rc is initialised

Pull Andreas Metzler's fix for gnutls_certificate_verify_peers (bug 1095)

TLS1.2 and TLS1.1 support with GnuTLS

ssize_t for mime.c

mime_decode_*() functions can return -1 for error, which would be lost when assigning to unsigned int.
Sprinkled ssize_t across function return types and result variables.

Doc: exim-future@ gone; mention exim-cvs@

fixes bug 1146

Document behaviour of message_size_limit=0 (main config setting, not transport)

Doc fixes for syntax errors.

Fixes from Simon Arlott.

Handle IPv6 addresses with SPF.

Patch from Wolfgang Breyha.

Also, slight improvements to some debug statements.

fixes bug 860

Handle ${run} returning more data than OS pipe buffer size.

Patch from Holger Weiß.
fixes bug 1131

Make maildir_use_size_file expandable.

Patch from Heiko Schlittermann.
Fixes bug 1089

Stop build process more reliably on failure.

Patch from Heiko Schlittermann.
Fixes bug 1087

$av_failed variable set when av_scanner deferred

Patch from John Horne.
Fixes bug 1078

Use .dylib not .so for dynamic libraries on MacOS

Not tested the drtables.c change for dynamically loaded lookups, only
the readline loading for -be interactive mode.

Add protocol=smtps support to smtp transport.

Permits SSL-on-connect for outbound connections.

Heavily based on Simon Arlott's patch, but with enough modifications to
risk new bugs.

nb: am on a plane, change confirmed to compile on MacOS, nothing more

fixes bug 97

Raise smtp_cmd_buffer_size to 16384.

Needed to interoperate with SASL commands containing a large
initial-response; in practice, GSSAPI with authorisation data, such as
in a Windows domain.

Patch from Paul Fisher.

fixes bug 879

Pull strict-aliasing fix for sockaddr_46.

One-line code change in unattributed .patch file bundled in someone's
.src.rpm.

We cause plenty of warnings for -Wstrict-aliasing=2, most appear to be
signed/unsigned char issues.

Use git to automatically create version.h

Adapted from git itself via unifdef. This does not (yet) include
the equivalent automation for the doc build.

Another PCRE remnant.

More PCRE cleanup.

Remove a few PCRE remnants.

Remove obsolete $Cambridge$ CVS revision strings.

I have also de-CVSed the ABOUT files and cleaned up a few
introductory comments.

doc/doc-txt/NewStuff: note the ratelimit changes.

Improved ratelimit ACL condition.

Replace /noupdate with simpler /readonly option. (/noupdate is
supported for backwards compatibility but no longer documented.)

Better checking of the compatibility between per_* options and the
ACL in which the ratelimit condition appears.

Better handling of the start of a burst of email and of very low-rate
clients.

The new /count= option generalizes the per_byte and per_rcpt options.

The new /unique= option is a rather groovy use for a Bloom filter.

exiwhat: Ensure the SIGUSR1 signal handler is safe.

exiwhat sends a SIGUSR1 to all exim processes to make them write
their status to the process log. This is all done in the signal
handler, but the logging code makes a number of calls that are not
signal safe. These can all cause crashes or recursive locking in
libc.

Firstly, obtaining and formatting the timestamp is not safe.
Doing so is unnecessary since exiwhat strips off the timestamp.
This change removes timestamps from the process log.

Secondly, exim closes all the logs after writing the process
log. Closing syslog is not signal safe, and isn't necessary.
We now only close the process log after writing to it.

Thirdly, exim may calculate the process_log_path inside the signal
handler which involves some possibly-unsafe string handling code.
This change calculates the path when reading the configuration.

Fourthly, when exim creates the process log file it might have to
call the unsafe directory_create() though this is unlikely in
practice. After this change exim only calls log_create() in a
subprocess which is safe - it sometimes needs to do so anyway, if
it is running as root and needs to drop privileges.

The new code has no process log handling in log.c which eliminates
some awkward special cases. It uses very simple code to write to
the file in the signal handler, so it is obviously safe by inspection.

Ensure we log the error message when unlink() fails.

See also commit ID 0761d44e