Потребитель Kafka работает над некоторыми темами, но не над всеми

Я настраиваю Kafka и наткнулся на стену в отношении одного потребителя, подписанного на несколько тем. У меня один потребитель в группеconusmer-1 слушаю create_record, detroy_record, update_record. destroy_record а также update_record получают сообщения, но create_recordничего не получает. К тому же,destory_recordполучает сообщение дважды. Странно то, что когда я добавляю потребителя в свой терминал, я получаю записи дляcreate_record и единственная запись для destroy_record.

Я думаю, что знаю проблему, но все еще не уверен. У меня есть еще одна серверная служба, на которую подписана такая жеcreate_record, detroy_record, update_record но в другой группе consumer-2. Эта служба отлично получает сообщения от всех трех.

Характеристики темы:

  • Коэффициент репликации = 3
  • Разделы = 1
const Consumer = kafka.Consumer;
const client = new kafka.KafkaClient({
    kafkaHost: PLACEHOLDER_FOR_HOST_STRINGSx3,
    clientId: "service-1"
});

const topics = [{
    topic: "create_record"
}, {
    topic: "destroy_record"
}, {
    topic: "update_record"
}];

const options = {
    autoCommit: true,
    fetchMaxWaitMs: 1000,
    fetchMaxBytes: 1024 * 1024,
    encoding: 'buffer',
    groupId: 'consumer-1'
};

const consumer = new Consumer(client, topics, options);

...

0 ответов

Другие вопросы по тегам