Лучший способ реплицировать MongoDB NoSQL в таблицы SQL

Question

Как я могу реплицировать (инкрементную нагрузку) MongoDB (NoSQL) в таблицы SQL. У нас есть веб-решение для загрузки данных в MongoDB. Размер данных почти 1 ТБ. Нам нужно сделать отчеты BI в инструменте Looker BI. но looker не поддерживает MongoDB напрямую. Таким образом, мы должны реплицировать наши данные в форму SQL, у нас есть красное смещение для целевой базы данных.

Основные требования для синтаксического анализа NoSQL в SQL:

1. Родительский узел должен быть основной таблицей
2. Вложенный узел / массивы должны быть отдельной таблицей с родительским ключом (внешним ключом)
3. Каждый раз, когда новый столбец вводится в источник MongoDB, он должен автоматически начать репликацию этого нового поля из любого документа в целевую базу данных.
4. Инкрементное обновление от источника к цели.

Я видел Stitch Data ETL, который соответствует моим требованиям, но я ищу OpenSource для любого инструмента или библиотеки ETL/DB.

Пожалуйста помоги.

Answer 1

Публикация ответов, чтобы помочь другим с такими же требованиями.

Я не могу получить какой-либо инструмент ETL с открытым исходным кодом, который полностью удовлетворяет вышеуказанным 4 требованиям. Пытаюсь написать для этого код на Python. Но платный инструмент Precog помог мне выполнить все вышеперечисленные требования и немного дешевле, чем Stitch Data ETL. благодаря