Как я могу выполнить дополнительную загрузку в Elasticsearch, используя logstash+jdbc и триггер базы данных

Question

У меня есть кластер elasticsearch, и я использую logstash + jdbc для загрузки данных.

Я хотел бы знать, есть ли способ, которым мы можем выполнять добавочную загрузку на основе триггера базы данных, а не в зависимости от запроса, который использует столбец последнего измененного значения.

Любая помощь приветствуется

Answer 1

На рынке есть несколько инструментов, зависящих от используемой вами БД.

• Дебезиум — Github
• PGSync — Гитхаб
• ЗомбоДБ — Github

дебезиум

Debezium — это проект с открытым исходным кодом, который предоставляет платформу потоковой передачи данных с малой задержкой для сбора измененных данных (CDC). Вы устанавливаете и настраиваете Debezium для мониторинга ваших баз данных, а затем ваши приложения используют события для каждого изменения на уровне строки, внесенного в базу данных.

PGSync

PGSync — это промежуточное ПО для синхронизации данных из Postgres в Elasticsearch. Это позволяет вам использовать Postgres в качестве источника достоверной информации и предоставлять структурированные денормализованные документы в Elasticsearch.

ЗомбоДБ

ZomboDB позволяет использовать мощь и масштабируемость Elasticsearch непосредственно из Postgres. Вам не нужно управлять транзакциями между Postgres и Elasticsearch, асинхронными конвейерами индексации, сложными процессами переиндексации или несколькими путями кода доступа к данным — ZomboDB сделает все это за вас.