kafka avro схема - 500 внутренняя ошибка сервера после 1000 сообщений

Я использую слитый прокси 0.9 rest proxy и системный реестр для создания сообщений avro в теме. Я использую модуль узла "kafka-rest". После 1000 сообщений он начинает выдавать 500 внутренних ошибок сервера. После прочтения некоторых сообщений я понимаю, что эта ошибка связана с настройкой максимального количества тем, которые могут быть зарегистрированы для темы, и повторное использование схемы является решением для нее.

В документации kafka-rest говорится, что повторное использование схемы выполняется прозрачно. Ниже приведен пример кода, который я использовал для тестирования. Я все еще получаю ту же ошибку.

Может ли кто-нибудь помочь мне понять, как я могу повторно использовать схему?

Спасибо Раджеш

"use strict";
var async = require('async');
var kafkaRest = require('kafka-rest');
var topicName = "avro-test";

var valueSchema = new kafkaRest.AvroSchema({
    "name": "UserInfo",
    "type": "record",
    "fields": [
        { "name": "id", "type": "int" },
        { "name": "name", "type": "string" }]
});


var kafka = new kafkaRest({"url": "http://localhost:8082"});
var target = kafka.topic(topicName);

// Avro key and value schema.
for(var i = 0; i <= 1005; i++) {
 var line = {'id': 1, 'name': 'Bob '};
 target.produce(valueSchema, line, handleResponse);

}
function handleResponse( err, res) {
 if (err) {
      console.log("Error producing messages " + err);
 }
}

1 ответ

Похоже, скоро будет исправление https://github.com/confluentinc/kafka-rest-node/issues/21

Между тем, мы используем идентификатор схемы для создания сообщений

Другие вопросы по тегам