Использование Akka Streams Kafka Producer параллельно

Question

Я хотел бы распараллелить запись в kafka, когда несколько производителей отправляют данные в kafka, хотя и из потока akka. В другом случае мой поток будет иметь несколько начальных этапов из источника, а затем, когда я приду к отправке данных, я хотел бы, чтобы около 16 рабочих отправляли данные одновременно.

Интересно, нужно ли мне встроить Akka Streams Kafka в DSL Graph akka-stream и использовать для этого балансировщик, или есть более простое решение? Кроме того, просто, если кто-то сделал что-то подобное в целом, это было бы здорово.

Answer 1

У Akka Streams Kafka (он же Reactive Kafka) есть особая настройка для параллелизма производителей (см. Документацию)

akka.kafka.producer {
  # Tuning parameter of how many sends that can run in parallel.
  parallelism = 100

  ...
}

Вы пытались настроить его, чтобы решить вашу проблему?