Репликация Couchbase в ElasticSearch (с несколькими индексами)

Question

В настоящее время мы используем Couchbase и ElasticSearch(2.x) и успешно реплицируем данные из CB в ES с помощью https://github.com/couchbaselabs/elasticsearch-transport-couchbase.

Проблемы начались при обновлении до ES 5.6.4. До сих пор мы использовали один индекс в ES, и из-за того, что ElasticSearch больше не рекомендует этот подход, мы сейчас пытаемся создать несколько индексов в ES (индекс на тип). Это означает, что нам нужен способ репликации данные из CB (один сегмент) в ES (несколько индексов).

Каков наилучший способ приблизиться к этому? Возможные решения:

1. Продолжайте использовать плагин asticsearch-transport-couchbase, но тогда нам нужно будет создать много (~150) XDCR-репликаций, по 1 репликации на тип. Я сомневаюсь, что это будет масштабироваться..
2. Напишите наше собственное решение, используя Spark или Kafka (ни один из них не находится в технологическом стеке, поэтому реализация может занять время, поэтому это не самое выгодное решение)

Любая помощь будет оценена.

Answer 1

Версия 4 Couchbase Elasticsearch Connector поддерживает новую модель "индекс-на-тип" (и другие функции, включая поддержку ES 6, безопасные соединения и инструменты управления контрольными точками репликации). Если вы хотите попробовать, ваши отзывы будут неоценимы.

Отказ от ответственности: я сотрудник Couchbase, разрабатывающий коннектор Elasticsearch.