Ingest Streaming Data в Кафку через http
Я очень новичок в Kafka и Streaming Data в целом. То, что я пытаюсь сделать, - это принять данные, которые должны быть отправлены через http на kafka. Мои исследования привели меня к слиянию REST-прокси, но я не могу заставить его работать.
В настоящее время у меня есть kafka, работающий с одним узлом и одним брокером с kafkamanager в док-контейнерах.
К сожалению, я не могу запустить полную конфлюентную платформу с докером, так как на моей машине недостаточно памяти.
По сути, мой вопрос: как настроить среду разработки, в которой данные попадают в kafka через http?
Любая помощь высоко ценится!
2 ответа
Вам не нужна "полная Confluent Platform" (KSQL, Control Center, в комплекте)
Zookeeper, Kafka, REST-прокси и, необязательно, реестр схем должны занимать всего до 4 ГБ ОЗУ. Если у вас его даже нет, вам нужно купить больше оперативной памяти.
Обратите внимание, что Zookeeper и Kafka не обязательно должны работать на тех же компьютерах, что и реестр схемы или прокси REST, поэтому, если у вас несколько компьютеров, вы также можете сохранить некоторые ресурсы таким же образом.
Для запуска одного брокера, zookeeper и схемы Kafka обычно достаточно 1 ГБ (в dev).
Если по какой-то причине вы не хотите использовать Confluent REST-прокси, вы можете написать свой собственный. Это довольно просто: "по запросу анализируйте входящий JSON, проверяйте данные, создавайте ваше сообщение (в Avro?) И отправляйте его в Kafka".
В этой статье вы найдете некоторые настройки для нажатия Kafka и ZK в памяти кучи: https://medium.com/@saabeilin/kafka-hands-on-part-i-development-environment-fc1b70955152
Здесь вы можете прочитать, как создавать / потреблять сообщения с помощью Python: https://medium.com/@saabeilin/kafka-hands-on-part-ii-producing-and-consuming-messages-in-python-44d5416f582e
Надеюсь, что это поможет!