Kinesis FireHose против потока данных Kinesis теряет данные
Я усердно тренируюсь, чтобы сдать один из специализированных экзаменов в AWS, а затем, следуя нескольким блогам, я увидел несколько концепций, которые сводят меня с ума в отношении случаев использования потоков Kinesis FH против Kinesis Data. Я пришел к вам, чтобы очистить свой разум при поддержке сообщества.
Kinesis DS: высокая доступность слушателя (большая буферная очередь) с функциональными возможностями, а также производитель KPL и потребительский KCL. Что очень здорово в этом сервисе, так это то, что он слушает все время, и нет таких близких перерывов в прослушивании, тогда как буфер очищен.
Kinesis FH: это больше похоже на своего рода потребителя, и он ловит все, что приходит от DS, с определенным периодом, основанным на времени или размере. Тем не менее, я могу загружать полезные нагрузки непосредственно в пожарный рукав, и тогда это будет потребляться из другого сервиса, кроме только DS. Для продолжения потребления и обработки требуется период промывки.
Я знаю так много свойств вокруг этих служб, но затем я обращаю внимание на те, которые очень привлекают мое внимание. Таким образом, многие вопросы основаны на том факте, что Kinesis FH может потреблять полезную нагрузку, отправляемую из настраиваемого процесса. Однако, с моей точки зрения, этот подход не очень хорошая идея, потому что тот факт, что FH тратит время на очистку своего буфера, заставляет меня поверить, что, возможно, я могу потерять данные, если я попытаюсь получить данные, тогда как, например, служба очищает этот буфер каждые 5 минут., Вместо этого я могу использовать службу DS с высоким уровнем прослушивания, а затем, например, использовать FH.
Итак, я хотел бы знать, верно ли мое предположение или вместо этого, в то время как FH очищает буфер, продолжая также получать полезные данные в буфере независимо от того, какой буфер сбрасывается. Да, я обратился к документации, но это очень объемно, и я, возможно, смогу получить ответ быстрее, чтобы продвинуться вперед в плане обучения. Спасибо