Буферизация AWS Firehose

При записи записей в пожарный шланг AWS, для которого настроено S3 в качестве места назначения вывода, как долго эти данные буферизуются, прежде чем они будут записаны в S3? Или есть минимальный размер порога?

Например, я делаю следующее, чтобы добавить записи:

aws cli:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'

результат:

    {
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}

Я не вижу этого сразу в своей корзине S3, однако, если я использую функцию "Тестовые данные" в консоли aws, я увижу файлы, добавляемые в S3 с тестовыми данными, включая мою вышеупомянутую запись теста.

Так что мои вопросы

1.) Есть ли у Firehose некоторый порог буфера, которого он должен достичь, прежде чем записать буферизованные данные в свой выходной источник?

2.) Как я могу определить, какие данные / записи находятся в буфере пожарного шланга в любой момент времени?

Источник

1 ответ

Решение

1) Да, это настраивается в пожарном шланге

Kinesis Firehose буферизует входящие данные перед их доставкой в ​​Amazon S3. Вы можете выбрать размер буфера (1-128 МБ) или интервал буфера (60-900 секунд); В зависимости от того, какое условие выполнено, сначала запускается доставка данных в Amazon S3.

Создание потока доставки Amazon Kinesis Firehose

2) Вы не можете. Firehose не предоставляет ожидающих данных.

Источник
Другие вопросы по тегам