Как отправить журнал Suricata в Kafka?

Question

После установки и настройки Suricata 5.0.2 в соответствии с документом https://suricata.readthedocs.io/.

Я пытаюсь изменить некоторые настройки в suricata.yaml, добавив:

- alert-json-log:
      enabled: yes
      filetype: kafka
      kafka:
        brokers: > 
         xxx-kafka-online003:9092,
         xxx-kafka-online004:9092,
         xxx-kafka-online005:9092,
         xxx-kafka-online006:9092,
         xxx-kafka-online007:9092
        topic: nsm_event
        partitions: 5
      http: yes

Затем я запускаю Suricata и получаю сообщение об ошибке Недействительная запись для alert-json-log.filetype. Ожидается "обычный" (по умолчанию), "unix_stream", "pcie" или "unix_dgram"

Я не знаю, как настроить Suricata для включения отправки журнала в темы Kafka. Пожалуйста помоги.

Answer 1

Я не вижу Kafka в качестве типа вывода, поэтому "нет, нет"

Обратитесь к документации: https://suricata.readthedocs.io/en/suricata-5.0.2/output/index.html

Кроме того, я не уверен, что понимаю, чего вы ожидаете http: yes делать, поскольку Kafka не является службой HTTP

---

Что вы могли сделать, это установитьfiletype: unix_stream, то я предполагаю, что это Syslog, и вы можете добавить другую службу, например Kafka Connect, Fluentd или Logstash, для маршрутизации этих данных в Kafka.

Другими словами, сервисам не нужно интегрироваться с Kafka. Существует множество альтернатив для чтения файлов илиstdout/stderr/syslog потоки