Потребитель Kafka работает над некоторыми темами, но не над всеми
Я настраиваю Kafka и наткнулся на стену в отношении одного потребителя, подписанного на несколько тем. У меня один потребитель в группеconusmer-1
слушаю create_record
, detroy_record
, update_record
. destroy_record
а также update_record
получают сообщения, но create_record
ничего не получает. К тому же,destory_record
получает сообщение дважды. Странно то, что когда я добавляю потребителя в свой терминал, я получаю записи дляcreate_record
и единственная запись для destroy_record
.
Я думаю, что знаю проблему, но все еще не уверен. У меня есть еще одна серверная служба, на которую подписана такая жеcreate_record
, detroy_record
, update_record
но в другой группе consumer-2
. Эта служба отлично получает сообщения от всех трех.
Характеристики темы:
- Коэффициент репликации = 3
- Разделы = 1
const Consumer = kafka.Consumer;
const client = new kafka.KafkaClient({
kafkaHost: PLACEHOLDER_FOR_HOST_STRINGSx3,
clientId: "service-1"
});
const topics = [{
topic: "create_record"
}, {
topic: "destroy_record"
}, {
topic: "update_record"
}];
const options = {
autoCommit: true,
fetchMaxWaitMs: 1000,
fetchMaxBytes: 1024 * 1024,
encoding: 'buffer',
groupId: 'consumer-1'
};
const consumer = new Consumer(client, topics, options);
...