Как настроить оповещения PagerDuty в Splunk Cloud?

Question

Я столкнулся с несколькими проблемами, связанными с интеграцией PagerDuty в Splunk Cloud.

Документация на сайте PagerDuty либо устарела, неприменима к Splunk Cloud, либо в настройке моей учетной записи Splunk Cloud что-то не так (может быть проблема с разрешениями): https://www.pagerduty.com/docs/guides/splunk-integration-guide/. Я не вижу страницу действий предупреждений в Splunk Cloud, хотя у меня есть страница поиска, отчетов и предупреждений.

Я настроил оповещения PD в Splunk с помощью приложения alert_logevent, но не ясно, стоит ли мне использовать какое-то другое приложение. Эти оповещения срабатывают при наличии поисковых запросов, но я вижу еще одну проблему (ниже). Тип приложения alert_webhook может показаться подходящим, но я не смог заставить его работать правильно. Я не могу создать тип оповещения с помощью приложения pagerduty_incident.,, хотя я могу установить его как триггерное действие (полагаю, именно так оно и должно работать, но я не нахожу здесь интуитивно понятный интерфейс).

Когда мои оповещения запускаются и создают инциденты в PagerDuty, я не вижу способа установить серьезность инцидента PagerDuty.

Кроме того, инциденты с PD включают в себя ссылку на Splunk, которая, я считаю, должна открыть запрос с поисковыми запросами, которые сгенерировали предупреждение. Тем не менее, ссылка приводит меня на страницу с не найденной страницей! ошибка. Он содержит ссылку на "дополнительную информацию о моем запросе", которая вызывает запрос Splunk без обращений. Этот запрос выглядит как "index=_internal, host=SOME_HOST_ON_SPLUNK_CLOUD, source=*web_service.log, log_level=ERROR, requesttid=A_REQUEST_ID". Мне не ясно, если это проблема конфигурации, ошибка в Splunk Cloud или, возможно, даже проблема с разрешениями для моей учетной записи.

Любая помощь приветствуется.

Answer 1

Я также являюсь клиентом Splunk Cloud + PagerDuty и столкнулся с той же проблемой. Приложение PagerDuty для Splunk создает все инциденты как Critical но вы можете установить различные уровни серьезности с правилами событий.

Один из способов сделать это - динамически переименовать ваши оповещения Splunk с желаемым уровнем серьезности, а затем создать правило события PagerDuty для каждого уровня, который ищет ключевое слово в Сводке. Например...

Если выполнено следующее условие:
Summary contains "TEST"
Затем выполните следующие действия:
Set severity = Info

снимок экрана с примером на экране редактирования правила события

Переименовать существующие оповещения в Splunk немного сложно, но это работает.

Если уровни серьезности в Splunk устанавливаются программно, как в Enterprise Security, то другим способом будет изменение приложения PagerDuty для Splunk для отправки $alert.severity$ пользовательский токен действия оповещения в качестве пользовательской детализации полезной нагрузки webhook и использовать его в качестве условия правила события вместо Summary... но это кажется сложнее.