Распределение данных AWS Kinesis Firehose по s3 по полезной нагрузке

Question

Я использую AWS-Kinesis-Firehose для передачи данных на S3, а затем использую их для Athena.

Я пытаюсь анализировать события из разных игр, чтобы Афина не исследовала много данных. Я хотел бы разделить данные s3 с помощью идентификатора для каждой игры, поэтому пока я не нашел решения, так как Firehose получает данные из разных игр.

Кто-нибудь знает как это сделать?

Спасибо, Хави.

Answer 1

Возможно, вы можете использовать Amazon Kinesis Analytics для разделения входящих потоков Firehose на отдельные выходные потоки на основе некоторой логики, такой как идентификатор игры.

Он может принимать KinesisFirehoseInput и отправлять данные в KinesisFirehoseOutput.

Однако документация по ограничениям, по- видимому, предполагает, что в приложении может быть только 3 выходных пункта назначения, поэтому этого будет недостаточно.

Answer 2

Вы можете отправить свой трафик в основной поток FireHose, а затем использовать лямбда-функцию для разделения данных на несколько потоков FireHose - по одному для каждой игры, которая сохранит данные в отдельной папке / корзине.