Как потреблять Кафку в ЦКАН

Можно ли связать ресурс в CKAN с API-интерфейсом Kafka? Я хочу получить доступ к CKAN API к живому ресурсу, опубликованному в Кафке, в режиме реального времени.

Источник

1 ответ

Решение

Вы, вероятно, должны написать это самостоятельно в расширении CKAN. Например, я написал плагин CKAN-Validator, который работает точно так же, как Datapusher, но захватывает файлы, проверяет их, используя функцию проверки корректности Goodtables для файлов CSV и Excel. Если проверка прошла успешно, я помещаю файлы в базу данных, откуда Logstash извлекает данные, и начинает путь к Elasticsearch. Я выбрал GoodTables вместо MessyTables по разным причинам.

Я думаю, вы можете написать фоновое задание, которое извлекает данные из API-интерфейса Kafka и, возможно, помещает их в хранилище данных CKAN.

Вы должны взглянуть на ckan-service-provider библиотека.

Это то, что я писал раньше.

Вот ссылка на него на github: https://github.com/ckan/ckan-service-provider

Источник
Другие вопросы по тегам