Конфигурация выходного метрика

Question

Я пытаюсь получить системные метрики с помощью metricbeat (metricbeat 5.1.1 и вывести данные в тему kafka)

output.kafka:
  # Boolean flag to enable or disable the output module.
  enabled: true

  # The list of Kafka broker addresses from where to fetch the cluster metadata.
  # The cluster metadata contain the actual Kafka brokers events are published
  # to.
  hosts: ["XX.XXX.XXX.XX:9092","XX.XXX.XXX.XX:9092","XX.XXX.XXX.XX:9092"]
  # The Kafka topic used for produced events. The setting can be a format string
  # using any event field. To set the topic from document type use `%{[type]}`.
  topic: ab-mb-raw, cd-mb-raw

Можно ли подтолкнуть данные к более чем одной теме в кафке?

Когда я запустил вышеупомянутую конфигурацию, я не могу видеть данные в теме кафки

Кто-нибудь может мне помочь, если мой конфиг правильный?

Answer 1

Не напрямую как статическая строка, нет. Но вы можете прочитать комментарий там...

Параметр может быть строкой формата с использованием любого поля события

Таким образом, если вы можете вставить поле в полезную нагрузку того, в какую тему отправлять, вы можете динамически направлять данные таким образом

Answer 2

Да, вы можете сделать это. В основном вам нужно будет определить в ваших конфигах.

Например:

Основной файл beat.yml:

output.kafka:
  hosts: ["kafka:9092"]
  topic: "%{[type]}"   <----- that is what you need.
  compression: snappy

# Prospector configs
filebeat.config_dir: /opt/filebeat/etc/conf.d

Ваши исследователи из /opt/filebeat/etc/conf.d могут выглядеть примерно так в файлах:

filebeat.prospectors:
  - input_type: log
paths:
  - "test.log"
document_type: "topic_name" <--------- topic per prospector