Отправка показателей в Prometheus Pushgateway часто дает сбой
Я использую клиентскую библиотеку Prometheus, чтобы отправлять метрики в pushgateway. Часто я получаю ошибку ниже при нажатии метрик. Как я могу найти основную причину этой проблемы?
push_to_gateway(
File "/usr/local/lib/python3.8/dist-packages/prometheus_client/exposition.py", line 285, in push_to_gateway
_use_gateway('PUT', gateway, job, registry, grouping_key, timeout, handler)
File "/usr/local/lib/python3.8/dist-packages/prometheus_client/exposition.py", line 358, in _use_gateway
handler(
File "/usr/local/lib/python3.8/dist-packages/prometheus_client/exposition.py", line 217, in handle
resp = build_opener(HTTPHandler).open(request, timeout=timeout)
File "/usr/lib/python3.8/urllib/request.py", line 525, in open
response = self._open(req, data)
File "/usr/lib/python3.8/urllib/request.py", line 542, in _open
result = self._call_chain(self.handle_open, protocol, protocol +
File "/usr/lib/python3.8/urllib/request.py", line 502, in _call_chain
result = func(*args)
File "/usr/lib/python3.8/urllib/request.py", line 1369, in https_open
return self.do_open(http.client.HTTPSConnection, req,
File "/usr/lib/python3.8/urllib/request.py", line 1330, in do_open
r = h.getresponse()
File "/usr/lib/python3.8/http/client.py", line 1332, in getresponse
response.begin()
File "/usr/lib/python3.8/http/client.py", line 303, in begin
version, status, reason = self._read_status()
File "/usr/lib/python3.8/http/client.py", line 272, in _read_status
raise RemoteDisconnected("Remote end closed connection without"
http.client.RemoteDisconnected: Remote end closed connection without respons
0 ответов
Мы используем Kubernetes внутри для развертывания сервисов, и здесь я пытаюсь использовать метрики Push, чтобы протолкнуть шлюз, используя его вход. Изменение его на использование имен служб Kubernetes вместо входящего значительно уменьшило эти ошибки, но это не переносимое решение в случае, если служба перемещается в другой кластер. Решение, которое сработало для меня, - повторить попытку с использованием функций декоратора python