Использование библиотеки производителя Kinesis в Spark

Question

У меня Spark Job читает миллионы записей с Кассандры, отфильтровывает (бизнес-правила) и пишет в поток Kinesis. Я не нашел ни одного примера и отзыва о том, как вызвать KPL(Kinesis Producer Library) из Spark. Это правильный подход? У меня есть другой вариант?

Answer 1

Вы можете создать производителя KPL для каждого раздела, а затем для каждого раздела вы можете отправить сообщение. Делайте разделы небольшими, чтобы избежать перегрузки узлов задач / ядра.