Описание тега aws-msk

Вопросы с тегом
For questions specific to the usage and features of Amazon Managed Streaming for Apache Kafka. Use this tag in combination with the more generic [apache-kafka] tag when appropriate.
3 ответа

Можно ли записать в кластер AWS MSK Kafka функцию Lambda?

Мне нужно забрать сообщения из AWS SES и опубликовать их в теме AWS MSK (Kafka). Это возможно? Насколько я понимаю, все клиенты MSK должны жить в одном VPC. Как бы настроить лямбда-функцию, которая соответствующим образом?
27 фев '19 в 18:31
0 ответов

Обработка обновлений клиентов kafka в kubernetes

У меня есть кластер Kafka, работающий на AWS MSK, и клиенты Kafka, работающие с клиентами и потребителями, работают в kubernetes. Производитель отвечает за отправку потока данных в Kafka. Мне нужна помощь в решении следующих проблем: Допустим, в код…
29 май '19 в 06:47
3 ответа

Можете ли вы использовать Amazon MSK на EKS?

Я смотрю на возможность замены / переноса нашей существующей установки Apache Kafka (версия 2.1.0) на MSK Amazon и для ее работы на EKS. Я искал вокруг, чтобы увидеть, возможно ли это на самом деле, и если кто-то сделал это или попытался, но пока я …
08 июл '19 в 17:42
0 ответов

Как правильно вставлять записи в тему aws msk через производителя Java 8?

Я установил новый кластер aws msk с тремя узлами. При создании событий отображается следующая ошибка: Ошибка при отправке записи java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.TimeoutException: не удалось обновить метаданные …
26 авг '19 в 13:19
1 ответ

Как установить S3SinkConnector (Не удалось найти класс)

Как настроить S3SinkConnector для потоковой передачи данных из моей темы в корзину S3? Я скачал плагин из слияния концентратора, создал файл connect-standalone.properties а также s3-sink.properties, Когда я пытаюсь бежать ./connect-standalone.sh con…
25 июн '19 в 18:48
0 ответов

Как обновить файл конфигурации кластера в AWS MSK без изменения конфигурации ARN?

Я создал пользовательскую конфигурацию "MSKConfig" с такими данными, как auto.create.topics.enable = true zookeeper.connection.timeout.ms = 1000 log.roll.ms = 604800000 Я получил сообщение о конфигурации ARN, создав этот конфигурационный файл, котор…
26 июл '19 в 10:11
1 ответ

Создание соединителя Kafka Connect для мониторинга базы данных MySQL AWS RDS в кластере AWS MSK (управляемая потоковая передача для Apache Kafka)

У меня есть сценарий использования, в котором я должен зафиксировать изменение данных в базе данных AWS RDS MySQL через Kafka connect и опубликовать его по теме Kafka. Для Kafka я использую сервис AWS Managed Streaming для Apache Kafka (MSK). Я созд…
18 авг '19 в 16:55
1 ответ

Подключение схемы-реестра Docker-контейнера к AWS MSK

Я не могу подключить реестр схемы к MSK. Я запускаю Docker в отдельном экземпляре, и у меня включены подключения к службам MSK. Испытанное изображение докера из слияния docker.io/confluentinc/cp-schema-registry:latest. docker run -d \ --net=host --n…
22 авг '19 в 07:13
0 ответов

Разрешаются ли имена серверов начальной загрузки AWS MSK с общедоступными DNS-серверами

У нас есть настройка кластера MSK. Я знаю имена серверов начальной загрузки, которые выглядят примерно так b-3.abcd-dev-kafka-dev.lq2z7z.c4.kafka.eu-central-1.amazonaws.com (имя изменено). Предполагается, что эти серверы находятся в моей подсети, и …
29 авг '19 в 18:19
1 ответ

AWS MSK Проверка подлинности пользователя / пароля / авторизация

Я хочу иметь возможность аутентифицировать / авторизовать клиентов для создания / потребления сообщений на определенные темы. они будут частью нашего vpn (включая aws). насколько я понимаю доступная документация, единственный вариант сделать это - в…
05 авг '19 в 10:19
1 ответ

Я пытаюсь создать продюсера для AWS MSK с помощью приложения Springboot, способного создать его из клиента EC2 (с помощью kafka-console-producer.sh)

При выводе сообщения в мск (кафка 2.1.0) получаю "Исключение выдается при отправке сообщения с key='null' а также payload='Message->0' к теме AWSKafkaTopic" Я пытаюсь создать его из приложения Springboot, развернутого в EC2 с помощью Docker. Но п…
24 июл '19 в 12:56
1 ответ

Создание темы MSK с использованием скрипта python и boto3

Я хочу разработать скрипт на Python для создания тем в MSK с помощью AWS SDK boto3. Я не вижу способов создать тему в Kafka.client. Я могу использовать kafka-python, но хотел использовать AWS SDK или CDK Пожалуйста, предложите.
23 июл '20 в 21:26
0 ответов

`GlobalTopicCount` не соответствует` PartitionCount` в каждом брокере

Я использую кластер MSK с 3 брокерами в AWS. ClusterMetrics показывает, что GlobalTopicCount 145. Но PartitionCount у каждого брокера 483. Также, когда я перечисляю все темы / разделы, размер списка 453. Меня очень смущает, почему метрика уровня кла…
27 сен '19 в 11:43
2 ответа

kafka-python поднять ошибку UnrecognizedBrokerVersion

Я получаю эту ошибку при создании KafkaProducer с kafka-python пакет: [ERROR] UnrecognizedBrokerVersion: UnrecognizedBrokerVersion Traceback (most recent call last): File "/var/lang/lib/python3.7/imp.py", line 234, in load_module return load_source(…
31 окт '19 в 12:15
4 ответа

Укажите имя хоста для экземпляров реестра схем, работающих в ECS.

Я создаю избыточный реестр схем, размещенный в Amazon, для нашего кластера MSK Kafka, используя кластер ECS. SchemaRegistry TaskDefinition необходимо определить имя хоста, которое уникально для каждой задачи при ее запуске. SchemaRegistryTaskDefinit…
08 ноя '19 в 12:34
3 ответа

Можете ли вы УМЕНЬШИТЬ количество брокеров Kafka в кластере Amazon MSK?

Быстрый вопрос для тех, кто использовал Amazon MSK (Managed Streaming for Kafka): В документы /FAQ сделать это ясно, что вы можете легко масштабировать до количества брокеров в кластере ММС. Можете ли вы так же легко уменьшить число? Я говорю не об …
18 ноя '19 в 19:51
2 ответа

Нет константы перечисления org.apache.kafka.common.protocol.SecurityProtocol.CLIENT aws MSK

Я пытаюсь запустить реестр схем на EC2. Моя кафка работает на AWS . Это мой файл свойств listeners=http://0.0.0.0:8081 kafkastore.connection.url=z-3.***:2181,z-***:2181,z-**:2181 kafkastore.bootstrap.servers=PLAINTEXT://b-3.**:9092,PLAINTEXT://b-6.*…
10 янв '20 в 11:33
0 ответов

Доступ к Amazon MSK с помощью приложения Springboot

Я пробую AWS Managed Service Kafka (MSK) и новичок в этом. Я попытался настроить кластер msk, создал на клиентском компьютере экземпляр EC2 в том же VPC. Могу создать тему Kafka из экземпляра, а также создавать и использовать с помощью командной стр…
29 янв '20 в 23:39
0 ответов

Настройте реестр схемы для использования только сопоставления протокола "CLIENT_SECURE" для подключения к списку брокеров, возвращаемому zookeeper

Я запускаю кластер Kafka / Zk в AWS MSK и подключаю к нему реестр схем. Если я укажу список брокеров в kafkastore.bootstrap.servers, он подключается нормально (с использованием протокола SSL). Однако, если я удалю конфигурацию сервера начальной загр…
10 фев '20 в 14:07
0 ответов

Проблемы создания и использования сообщений из / в kafka AWS MSK с бессерверным приложением dot net core

Я пытаюсь создать API производителя, который должен просто захватить тело запроса и отправить его в тему kafka в кластере MSK. (проблема почти такая же для потребительской части) Я создал кластер MSK в VPC с 3 выделенными подсетями. Бессерверное при…
12 фев '20 в 14:48