Ошибка Alertmanager: caller=notifier msg="Ошибка отправки оповещения" err="Неверный статус ответа 500 Внутренняя ошибка сервера"

Question

Прометей регистрирует ошибки с помощью неправильных URL-адресов:

Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946934196Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.105:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"
Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946955868Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.73:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"
Feb 06 13:38:54 ip-192-168-0-xxx.ec2.internal prometheus[27909]: level=error ts=2019-02-06T13:38:54.946975398Z caller=notifier.go:473 component=notifier alertmanager=http://192.168.22.87:4194/api/v1/alerts count=0 msg="Error sending alert" err="bad response status 500 Internal Server Error"

IP-адреса в каждой из этих ошибок на самом деле являются внутренними IP-адресами отслеживаемых узлов. Так что почему-то в прометее есть плохая конфигурация, которая вызывает это. Разве IP-адреса не должны быть IP-адресом alertmanager?

Может кто-нибудь указать мне, где я мог бы решить, чтобы решить эту проблему в моей конфигурации Prometheus?

Answer 1

Попробуйте вызвать API самостоятельно (то есть: выполните вызовы, которые пытается сделать Прометей). проверьте журналы ошибок alertmanager.

alertmanager возвращается 500 Internal Server Error так что там что-то не так.

Если вы откроете веб-браузер и попытаетесь загрузить http://192.168.22.105:4194/api/v1/alerts (или если вы сделаете curl или wgetс компьютера в вашей сети, который может подключаться к этим IP-адресам), вы должны получить ответ json со списком предупреждений. или хотя бы пустой ответ с{"status":"success","data":[]}

IP-адреса в каждой из этих ошибок на самом деле являются внутренними IP-адресами отслеживаемых узлов.

Это неверно. Prometheus пытается отправлять оповещения на эти IP-адреса. Таким образом, эти предупреждения должны соответствовать экземплярам AlertManager.

Если AlertManager не работает на этих IP-адресах, значит, он не работает. Прометей пытается вызвать API Alertmanager (/api/v1/alerts).

Чтобы контролировать эти узлы, Прометею нужен доступ к{IP}/metrics вместо.