Couchbase/Elasticsearch разъем для нескольких ковшей

Question

Есть ли способ реплицировать 2 или несколько контейнеров на базе couchbase в asticsearch, используя один файл конфигурации?

Я на самом деле использую эту версию соединителя эластичного поиска couchbase: https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

Я правильно копирую свои данные, но мне нужно каждый раз запускать команду для каждого сегмента, используя разные файлы конфигурации (.toml).

Не удалось, кстати, выполнить команду cbes несколько раз на одном и том же сервере, поскольку порт метрики 31415 уже используется.

Есть ли способ обработать много групп соединителей за один раз?

Answer 1

В версии 4.0 один процесс соединителя может копироваться только из одного сегмента. Это связано с тем, что правила индексирования и все базовые сетевые подключения к Couchbase Server находятся на уровне сегмента.

В настоящее время рекомендуется создать несколько файлов конфигурации и запустить несколько процессов коннектора. Понятно, что это может быть сложным в управлении, если вы реплицируете большое количество сегментов.

Если вы хотите проявить творческий подход, вы можете использовать один и тот же шаблон файла конфигурации для нескольких групп. Идея состоит в том, что вы бы написали файл конфигурации с некоторыми заполнителями в нем, а затем сгенерировали фактический файл конфигурации, запустив сценарий, который заменяет заполнители правильными значениями для каждого соединителя.

Следующее обновление для коннектора добавит встроенную поддержку подстановки переменных среды в файле конфигурации. Это может упростить шаблонный подход.

Вот несколько вариантов, позволяющих избежать конфликта портов метрик:

• Отключите отчеты о показателях, установив httpPort ключ в [metrics] раздел к -1,
• ИЛИ Используйте случайный порт, установив его 0,
• ИЛИ Используйте шаблонную идею, описанную выше, и вставьте уникальный номер порта в каждый сгенерированный файл конфигурации.

---

Стоит отметить, что будущая версия соединителя будет поддерживать то, что мы называем " Автономный режим работы". Когда соединитель работает в этом режиме, конфигурация будет храниться в центральном местоположении (возможно, на сервере Консул). Можно будет на лету перенастроить группу соединителей и добавлять или удалять рабочих в группу, не останавливая всех рабочих и не редактируя их файлы конфигурации. Надеюсь, это упростит управление большими развертываниями.