Подсчет количества записей журнала GCP за указанное время
Можно ли посчитать количество вхождений определенного сообщения журнала за определенный период времени из журнала GCP Stackdriver? Чтобы ответить на вопрос "Сколько раз это событие происходило за этот период времени". В принципе, я хотел бы получить интеграл кривой на графике ниже.
Это не должно быть движущееся окно, на этот раз это скорее одноразовая задача. Счетчик-агрегатор или аналог в расширенном запросе журнала также будет работать, если он будет доступен.
Запрос выглядит так:
(resource.type="container"
logName="projects/xyz-142842/logs/drs"
"Publish Message for updated entity"
) AND (timestamp>="2018-04-25T06:20:53Z" timestamp<="2018-04-26T06:20:53Z")
*
Обновление 2018-04-27
Моя основанная на журнале метрика для графика выше выглядит так: 
Моя панель инструментов настроена так: 
5 ответов
Я закончил тем, что строил сложенные бары.
С правильным уровнем масштабирования я могу легко подсчитать количество вхождений. Было бы неплохо получить счет непосредственно из графика (интеграл), но пока это работает.
Есть несколько способов сделать это, два из которых, на мой взгляд, действительно работают и которые могут быть применимы к вашей ситуации:
Использование метрик на основе логов. Они могут, например, записать количество записей журнала, содержащих конкретные сообщения об ошибках, или они могут извлечь информацию о задержке, сообщенную в записях журнала.
Stackdriver Ведение журнала метрик на основе журналов может быть одного из двух типов метрик: счетчик или распределение. [...] Счетчик метрик подсчитывает количество записей журнала, соответствующих расширенному фильтру журналов. [...] Метрики распределения накапливают числовые данные из записей журнала, соответствующих фильтру.
Я бы посоветовал вам ознакомиться с документацией, чтобы проверить, что эта функция полностью охватывает ваш вариант использования.
Вы можете экспортировать свои журналы в большой запрос, когда они у вас есть, вы можете использовать классические инструменты, такие как
groupby,selectи все инструменты, которые предлагает вам BigQuery.Здесь вы можете найти очень минимальное пошаговое руководство в отношении того, как экспортировать журналы и как анализировать журналы аудита с помощью BigQuery, но я уверен, что вы можете найти в Интернете много ресурсов.
Продукт и подходы действительно разные, я бы сказал, что BigQuery более гибкий, но и более сложный в настройке и правильном использовании. Если вы найдете третий лучший способ, пожалуйста, обновите ваш вопрос с этой информацией.
Сначала вам нужно создать метрику:
- Перейдите в проводник журнала.
- Введите свой запрос
- Перейдите в Действия >> Создать показатель.
В панели мониторинга
- Создайте диаграмму.
- Выберите ресурс и показатель.
- Перейдите в «Дополнительно» и предоставьте подробную информацию, как указано ниже:
Шаг предварительной обработки: Скорость
Функция выравнивания: количество
Период совмещения: 1
Единица юстировки: минуты
Группировать по: журналу
Группировать по функциям: количество
Это даст вам визуализацию в виде гистограммы с подсчетом желаемых событий.
Есть еще один вариант. Вы можете прочитать свой пользовательский показатель с помощью API-интерфейса мониторинга Stackdriver ( https://cloud.google.com/monitoring/api/v3/) и обработать его в сценарии с любой необходимой вам агрегацией.
Если вы работаете с python - вы можете заглянуть в библиотеку gcloud python https://github.com/GoogleCloudPlatform/google-cloud-python/tree/master/monitoring Это будет очень простой сценарий, и вы сможете транслировать результаты вычислений в bigquery. стол и использовать его в своей панели
С помощью PacketAI вы можете отправлять логи произвольных форматов, в том числе из GCP. затем панель журналов автоматически проанализирует и сгруппирует в шаблоны, как показано в этом видео. https://streamable.com/n50kr8
Также отображаются подсчеты и тенденции различных шаблонов журналов.
Отказ от ответственности: я работаю в PacketAI