Разница между Кафкой и Кафкой Директ?

Question

Разница между Кафкой и Кафкой Директ?

Есть ли разница между Кафкой и Кафкой прямой? Если таковые имеются, когда один должен использоваться вместо другого, и каковы будут преимущества?

1

apache-kafka kafka-directconsumer

Источник

user4820101 08 авг '17 в 06:50

2 ответа

Другие вопросы по тегам apache-kafka kafka-directconsumer

user4989284 08 авг '17 в 06:58 2017-08-08 06:58 · Answer 1 · 2017-08-08 06:58

kafka direct- это оптимизация, которая дает лучшие гарантии отказоустойчивости и большую семантику надежности со временем.
парк 1.2 представил записи впереди журналы. Это гарантирует, что никакие данные, полученные из каких-либо надежных источников данных (например, транзакционных источников, таких как Flume, Kafka и Kinesis), не будут потеряны из-за сбоев (то есть семантики хотя бы один раз). Даже для ненадежных (то есть нетранзакционных) источников, таких как обычные старые сокеты, это сводит к минимуму потерю данных. обратитесь к этой ссылке для лучшего понимания

user7027529 02 янв '18 в 05:35 2018-01-02 05:35 · Answer 2 · 2018-01-02 05:35

Новый Direct API для Kafka - Это позволяет обрабатывать каждую запись Kafka ровно один раз, несмотря на сбои, без использования Write Ahead Logs. Это делает трубопроводы Spark Streaming + Kafka более эффективными, обеспечивая при этом более надежные гарантии отказоустойчивости.

0

Источник

user7027529 02 янв '18 в 05:35