Как пакетировать события приложения с максимальной скоростью 1000 событий в секунду при использовании сборщика событий Splunk HTTP (HEC)
Мне нужно отправить пакетные события в Splunk HTTP Event Collector, скажем, 1000 событий в секунду.
Ниже приведен пример 5 событий журнала, которые отправляются в Splunk HEC:
% curl "https://splunk-example.com:8088/services/collector/raw?channel=093DCD-BC98-8UET-8AFE-8413C3825C4C&sourcetype=test_type&index=test_index"
-H "Authorization: Splunk ******-****-****-****-*********" -d '<log line 1> <log line 2> <log line 3> <log line 4>
Output: {"text":"Success","code":0}%
Итак, как мне настроить отправку журналов приложений в виде 1000 событий в секунду в Splunk HEC?
2 ответа
Конфигурация скорости отправки, т.е. регулирование, должна выполняться на стороне клиента. Я предполагаю, что вы не будете использовать «обычный» завиток, а скорее это будет какой-то скрипт/приложение. Таким образом, ваше дросселирование должно быть сделано там.
В вашейprops.confфайл дляsourcetypeвы должны использовать"SHOULD_LINEMERGE = false". Это разобьет каждую строку журнала на отдельные события.
А что, если ваше мероприятие многострочное?
Тогда этот документ должен помочь: https://docs.splunk.com/Documentation/SplunkCloud/latest/Data/Configureeventlinebreaking