Review comments

- Drop "desired"
- Drop go 1.17 compat, will be switched entirely to go 1.17 elsewhere

Signed-off-by: David Leadbeater <dgl@dgl.cx>

Add control of recursion desired flag for DNS probes

This defaults recursion desired to on to preserve existing behaviour,
but allows it to be configured.

Signed-off-by: David Leadbeater <dgl@dgl.cx>

Add support for grpc health check (#835)

Signed-off-by: Alessandro Verzicco <8068317+averzicco@users.noreply.github.com>

Add hostname parameter (#823)

* Add hostname parameter

Signed-off-by: anemyte <anemyte@gmail.com>

Update common Prometheus files (#839)

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Update dependencies (#822)

github.com/go-kit/kit/log has been replaced by github.com/go-kit/log.

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Fix body_size_limit negative handling (#838)

When body_size_limit is 0 (either explicitly or implicitly because it
wasn't specified) or less, we are setting it to math.MaxInt64. It turns
out that the implementation in http.MaxBytesReader tries to add 1 to the
specified value, and it wraps around. After that, it tries to use the
result to index an slice, causing it to panic.

Work around this by setting the limit to math.MaxInt64 - 1.

Also, if body_size_limit is exactly 0, leave it like that. That causes
the code to avoid setting up the limiter, saving some extra processing.

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Add body_size_limit option to http module (#836)

This option limits the maximum body length that will be read from the
HTTP server. It's meant to prevent misconfigured servers from causing
the probe to use too many resources, even if temporarily. It's not an
additional check on the response, for that, use the resulting metrics
(probe_http_content_length, probe_http_uncompressed_body_length, etc).

Co-authored-by: Julien Pivotto <roidelapluie@inuits.eu>

Merge pull request #824 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Merge pull request #796 from roidelapluie/simple-one-call

Simplify prefered protocol DNS probe

Merge pull request #807 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Simple implementation of single-resolver-call without fallback

This approach ensures that we only call a single time the resolver in
the dns probes.

Otherwise, if we got an error in the first call, we would do a second
call.

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Revert "Use preferred protocol first when resolving hostname (#728)"

This reverts commit 847b668e93267b1b57a76db5876f123bff074315.

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Merge pull request #785 from roidelapluie/rel-019cl

Fixes in the 0.19 changelog

We do not use ReadRequest

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Fix redirects options

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Fixes in the changelog

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Fix release date

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Merge pull request #784 from roidelapluie/rel-019

Release 0.19.0

Merge pull request #783 from Cytrian/master

Fix example ssh_banner check: Send identification string

Use upstream parameter follow_redirects

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Release 0.19.0

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Fix example ssh_banner check: Send identificaation string

This is to reduce log spam:

"sshd[3750]: Did not receive identification string from ..:"

There will still be a "Connection closed by" message.

Signed-off-by: Marcus Röder <m.roeder@yieldlab.de>

Merge pull request #764 from prometheus/handle_compressed_payload

Add support for decompression of HTTP responses

Add support for decompression of HTTP responses

If the module configuration specifies the "compression" option
blackbox_exporter will try to decompress the response using the
specified algorithm. If the response is not compressed using that
algorithm, the probe will fail.

It validates that the "Accept-Encoding" header is either absent, or that
it specifies the same algorithm as the "compression" option. If the
"Accept-Encoding" header is present but it specifies a different
algorithm, the probe will fail.

If the compression option is *not* used, probe_http_content_length and
probe_http_uncompressed_body_length will have the same value
corresponding to the original content length. If the compression option
is used and the content can be decompressed, probe_http_content_length
will report the original content length as it currently does, and
probe_http_uncompressed_body_length will report the length of the body
after decompression as expected.

Fixes #684

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Merge pull request #776 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Merge pull request #770 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Merge pull request #768 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Merge pull request #758 from kgersen/master

http probe - fix how the tls phase is calculated

Merge pull request #767 from prometheus/repo_sync

Synchronize common files from prometheus/prometheus

Update common Prometheus files

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Merge pull request #752 from Jimdo/add-health-endpoint

Add health endpoint

Merge pull request #745 from prometheus/fix_738

Update golangci-lint to 1.36.0

- revert 'connect' phase duration

Signed-off-by: kgersen <kgersen@hotmail.com>

- fix how tls phase is computed

Signed-off-by: kgersen <kgersen@hotmail.com>

Add health endpoint

The root endpoint exposes too much data. So it cannot be used as public
health check endpoint.

Signed-off-by: Mitja Adebahr <extern.mitja.adebahr@jimdo.com>

makefile: update Makefile.common with newer version

This updates golangci-lint from version 1.18.0 to 1.36.0. Newer versions
flag a possible nil pointer dereference, so rework some of the logic to
make sure that's not the case.

Add a test that covers the case of the changed code.

Closes #738

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Merge pull request #755 from prometheus/superq/vendor

Update build

Update build

* Drop /vendor.
* Update go deps.
* Update to Go 1.16.

Signed-off-by: Ben Kochie <superq@gmail.com>

Merge pull request #744 from prometheus/beorn7/maintainers

Change maintainer from @brian-brazil to @roidelapluie, @mem, @electron0zero

Change maintainer from @brian-brazil to @roidelapluie, @mem, @electron0zero

Signed-off-by: beorn7 <beorn@grafana.com>

Merge pull request #737 from roidelapluie/security-dot-md

Add SECURITY.md

Add SECURITY.md

This commit adds a security policy to this repository. SECURITY.md files
are handled in a special way by GitHub, helping users to know how to
best submit security issues for the projects.

In this case, we simply point to our existing documentation on
prometheus.io.

The content of this file will be synced automatically with the
prometheus/prometheus repository, as our security policy covers all the
repositories. This sync is automated with prombot, like other files
(LICENSE, Makefile.common).

https://docs.github.com/en/free-pro-team@latest/github/managing-security-vulnerabilities/adding-a-security-policy-to-your-repository
Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Merge pull request #735 from roidelapluie/toolkit-update

Update exporter-toolkit to 0.5.0

Update exporter-toolkit to 0.5.0

The exporter-toolkit has a new release that renames the https package to
web to make it more meaningful.

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Improve the test code. (#733)

Signed-off-by: Yuchen Ying <github.com@yegle.net>

Enable TLS and basic authentication (#730)

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Solve #717 Validating config should try to compile regexes (#729)

* Solve issue: #717:Validating config includes trying to compile regexes

Signed-off-by: sshota0809 <8736380+sshota0809@users.noreply.github.com>

Use preferred protocol first when resolving hostname (#728)

* Use preferred protocol first when resolving hostname

Prior to this change, LookupIPAddr() is used to do the DNS query,
which sends two DNS queries for A/AAAA records, even if the config has
preferred protocol set to ip4 and does not allow fallback protocol.

This change will change to use LookupIP() with the preferred protocol,
and only try fallback protocol if it's set to true. In most cases doing
this will save one RTT of DNS query.

Signed-off-by: Yuchen Ying <github.com@yegle.net>

http prober: Fix error checking (#723)

Not sure if that can be triggered in real scenarios.

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Merge pull request #722 from prometheus/superq/update_build

Update build

Update build

* Move make test from Travis to CircleCI.
* Drop Travis testing.
* Bump prometheus orb to latest.
* Update Makefile.common.
* Use default build target list.
* Switch CI prober tests env var to generic "CI" variable.

Signed-off-by: Ben Kochie <superq@gmail.com>

Fix version flag in github template (#718)

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Resolve #715 Metric for unknown probe (#716)

Co-authored-by: Gavin Kelly <gkelly@newsweaver.com>

make smtp examples compliant to spec (#706)

Signed-off-by: Björn Fischer <bjoern.fischer@inovex.de>

Correct formatting of build_context log message at startup (#700)

Fixes #699

Signed-off-by: Brian Candler <b.candler@pobox.com>

Release 0.18.0

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Add probe_icmp_reply_hop_limit (#694)

IPv6 hop limit (IPv4 TTL) tells how many remaining hops the reply
datagram has. When the target uses a well known initial hop limit,
it can be used to count the number of hops from the target to the
prober and detect routing problems.

Signed-off-by: Luiz Angelo Daros de Luca <luizluca@gmail.com>

Log http version string we compare with, rather than float we put in metric. (#659)

See #658

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Fix issue #673: incorrect content length reporting (#674)

Without regexp validations, the current code reads the response from the
server in order to figure out the number of bytes we received. With
regular expression validations, it's necessary to read the whole
response in order verify it if matches or not. In this case, since the
response is completely consumed, the current code is reporting a length
of 0.

Modify the code so that we can keep track of the content length in
either case: wrap the io.ReadCloser that corresponds to the response
body with another io.ReadCloser that keeps track of the number of bytes
read. After completely consuming the reponse, the wrapper is able to
report the total number of bytes read.

Add TestContentLength that checks the content lenght is reported
correctly.

Rework existing TestFailIfBodyMatchesRegexp to reduce repetiiton; add
expectations to avoid regressing issue 673.

Fixes #673

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Fix panic when running ICMPv4 probe with DontFragment (#686)

A recent change modified the way an IPv4 raw socket is created and BBE
is panicing when ICMPv4 is used with DontFragment set.

golang.org/x/net doesn't seem to have a way to create the necessary
socket, so fall back to the previous method for that case in particular
(ICMP, IPv4, DontFragment=true).

Fixes #685

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

prober/tls: fix probe_ssl_last_chain_expiry_timestamp_seconds (#681)

* prober/tls: fix probe_ssl_last_chain_expiry_timestamp_seconds

This metric should report the earliest expiry of the chain that expires
the latest out of all the verified chains. Presently, it reports the
earliest expiry of the chain that expires first.

The current test for this metric was using an expired root certificate which
is omitted from the verified chain, so the test was passing despite this
bug. I've changed it to use a root that is still valid but expires before a
root held by the client.

* prober/tls: improve verified cert test

Include the older root certificate in the chain presented by the server
as well as in the client root CAs. This ensures that the peer
certificate metric identifies the older root CA as the earliest expiry
while it is ignored by the verified metric in favour of the longer-lived
chain.

Signed-off-by: Rob Best <robertbest89@gmail.com>

prober/tls: adding metric to expose certificate fingerprint info (#678)

this change adds a new metric `probe_ssl_fingerprint_info` to both tcp
and http probes. the metric always returns 1 similar to the tls version
metric and contains the leaf certificates sha256 fingerprint (hex) as a
label value.

this change allows users to validate in prometheus if a particular
certificate is being served.

Signed-off-by: xinau <felix.ehrenpfort@protonmail.com>

Update to go 1.15 (#677)

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Update default timeout in README (#668)

Since #509 (4bf18924d4645453ec3e240d01842b7f15db537c) the default
timeout was changed to 2m. This change updates the README to reflect it.

Signed-off-by: Pedro Araujo <phcrva@gmail.com>

Expose probe_dns_duration_seconds metric (#662)

* Expose probe_dns_duration_seconds metric

This follows the same pattern as probe_http_duration_seconds and
probe_icmp_duration_seconds: it captures the time it takes to perform
the actual request, excluding the time it takes to set up things.
probe_duration_seconds includes the time to perform the request as well
as all the time it takes to set it up. probe_dns_lookup_time_seconds
refers to the time it takes to resolve the target's address, so it
doesn't capture the time it takes to make one request for that target.

Follow probe_http_duration_seconds and add a "phase" label to
probe_dns_duration_seconds, which splits the time it takes to complete
the check into "resolve" (time to resolve the target name), "connect"
(time to connect to the DNS server) and "request" (time to send the
query and retrieve the response).

Signed-off-by: Marcelo E. Magallon <marcelo.magallon@grafana.com>

Change DoT default port to 853 (#655)

Signed-off-by: Kakashi Liu <kakashi1000@gmail.com>

Update common Prometheus files (#648)

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Deal with URLs with literal IPv6 addresses (#645)

Recent versions of Go have started enforcing the usage of
brackets in URLs with literal IPv6 addresses. This change
prevents the attempt to resolve an address in the form
[address]. URL.Hostname() takes care of striping the brackets.

Signed-off-by: André Cruz <acruz@cloudflare.com>

Release 0.17.0

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Add option to disable TLS certificate check in DoT (#644)

Signed-off-by: André Cruz <acruz@cloudflare.com>

Add support for DoT to DNS probes (#643)

Signed-off-by: André Cruz <acruz@cloudflare.com>

Add support for "rootless" ping (#642)

This works for Linux and Darwin.

On Linux the user running the exporter needs to be a member of a group
with an ID in the range specified in the sysctl
net.ipv4.ping_group_range.

Signed-off-by: David Leadbeater <dgl@dgl.cx>

Update deps (#639)

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Seed RNG to ensure different ICMP ids. (#638)

Fixes #632

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

[dns] Allow to specify query Class (#635)

* [dns] validate query_class and query_type config values
This allows to catch simple config errors earlier.

Signed-off-by: Baptiste Courtois <b.courtois@criteo.com>

Update prometheus/common to v0.10.0 (#622)

Enable HTTP/2.
Fixes #617

Add support for "0" duration.

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Add new probe_ssl_last_chain_expiry_timestamp_seconds metric (#636)

* Add new probe_ssl_latest_verified_chain_expiry metric

Resolves https://github.com/prometheus/blackbox_exporter/issues/340

Based on the discussion in the issue above, this metric will help determine
when the SSL/TLS certificate expiration error actually happens on clients
like a browser that attempts to verify certificates by building one or
more chains from peer certificates.

Signed-off-by: Takuya Kosugiyama <re@itkq.jp>

fix the example.yml file: HTTP/2 is shown as HTTP/2.0 in the golang http client (#633)

Signed-off-by: Simon Thoby <simon.thoby@bleemeo.com>

makefile: update Makefile.common with newer version (#627)

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Bump go version to 1.14 (#611)

Signed-off-by: Julien Pivotto <roidelapluie@inuits.eu>

Add password file field to document (#605)

Signed-off-by: tottoto <tottotodev@gmail.com>

Bumping DNS dependency to 1.1.25 (#597)

Bump other deps too.

Signed-off-by: David Collom <david.collom@creditkarma.com>

Merge pull request #587 from carlosedp/ppc64le

Add image build for ppc64le architecture

Add image build for ppc64le architecture

Signed-off-by: Carlos de Paula <me@carlosedp.com>

add probe_ip_addr_hash to detect if the IP changes (#584)

* add probe_ip_addr_hash to detect if the IP changes

Signed-off-by: Wing924 <weihe924stephen@gmail.com>

makefile: update Makefile.common with newer version (#574)

Signed-off-by: prombot <prometheus-team@googlegroups.com>

Skip network dependent test in short mode (#566)

Signed-off-by: Daniel Swarbrick <daniel.swarbrick@cloud.ionos.com>

Add none/all matches to DNS RRset validation (#552)

Signed-off-by: Paul Wood <pauwood@ebay.com>

Release 0.16.0

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Fix logging of IP addresseses in resolve code. (#548)

Also add logging missing from one code path.

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

[BUGFIX] disable ip protocol fallback and tests (#540)

Signed-off-by: Martin/Geno <geno+dev@fireorbit.de>

Export TLS version (#538)

* Add a metric for the TLS version used

Signed-off-by: Silke Hofstra <silke@slxh.eu>

Add locking around tracer.

It can be called concurrently, and after the request has finished.

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>

Better handling of HTTP redirects.

If the redirect is to a different host, don't set ServerName.
Fixes #237.

Signed-off-by: Brian Brazil <brian.brazil@robustperception.io>