Как в CloudWatch Insights построить гистограмму функции агрегирования?

Question

Я не уверен, что правильно задаю этот вопрос, и, вероятно, поэтому я не могу найти решение. Приведу пример.

Предположим, у меня есть журнал сотрудников, нанятых менеджерами за определенный период времени. Я могу создать запрос, который группируется по менеджерам и показывает количество нанятых сотрудников

stats count() as numEmployees by managerId
| filter @message like /hired employee/
| sort numEmployees desc

Предположим, что создается следующая таблица

Mngr | numHires
Jack | 4
Judy | 3
May  | 3
John | 2
Jake | 2
Mary | 1
Sam  | 1
Alan | 1

Я хотел бы еще больше уточнить свой результат, чтобы я мог построить еще одну гистограмму numHires и посчитать так

4 | 1
3 | 2
2 | 2
1 | 3

Эта таблица означает, что было 1 случай 4 найма, 2 случая 3 найма, 2 случая 2 найма и 3 случая 1 найма.

Есть ли способ сделать это?

ps - Я знаю, что могу скачать csv и сделать это в Excel. Однако естьlimit из 10000 результатов возвращено в cloudwatch

Answer 1

Мне нужно было выполнить такой же тип агрегирования и обратиться в службу поддержки AWS, чтобы спросить, как это можно сделать. Команда AWS ответила, что, к сожалению, в настоящее время использование Insights невозможно.

В настоящее время Insights не поддерживает агрегирование второго уровня.

Таким образом, альтернативный обходной путь - использовать AWS Quick Sights или MS Excel для построения необходимых графиков.

В моем случае Excel не подходит, потому что в моем результирующем наборе данных за день миллионы записей. При этом, в конце концов, моим решением было выбрать всего несколько минут данных, экспортировать их в Excel и создать сводную таблицу для агрегирования данных. Это позволило мне получить общее представление о моей системе.

Я не изучал AWS Quick Sights.

Помимо AWS Insights могут быть и другие сторонние решения, такие как Datadog, которые обеспечивают более мощные функции анализа журналов. Я лично не использовал Datadog, поэтому не могу поручиться за него, но читал о нем хорошие отзывы.

Ссылки: [1] https://docs.aws.amazon.com/quicksight/latest/user/histogram-charts.html