Киба: "Инкрементная синхронизация" между таблицами

Question

Моя цель состоит в том, чтобы отобразить записи из большой таблицы в таблицу меньшего размера с учетом запроса, основанного на выражении GROUP BY. Я хочу синхронизировать их через Kiba, поэтапно, то есть без перезаписи неизмененных записей.

Может ли Kiba определить и запустить минимальное количество INSERTS, UPDATES и DELETES для синхронизации двух таблиц?

Ура!

Answer 1

Автор киба тут! Сегодня сама Kiba не предоставляет встроенных механизмов для универсальной версии этого, потому что в реальной жизни есть много разных способов достичь этого в зависимости как от ваших потребностей, так и от ваших фактических настроек (все локально или является частью обработки удаленный, сколько данных должно быть обработано, что такое стек и т. д.).

Тем не менее, этот тип сценария очень, очень часто реализуется с использованием Kiba в современном производстве: это общая потребность, и люди используют свои существующие знания и специальные возможности хранилища данных для реализации наилучшего способа, полагаясь на Kiba.

Несколько моментов на сегодня, которые могут помочь:

• Подпишитесь на мой блог, и я обязательно поделюсь примером простой "синхронизации" между двумя магазинами в будущем, включая код и т. Д.
• Предстоящее предложение "Kiba Pro" будет охватывать очень конкретные реализации этого (поэтому не обязательно для всех).
• Лучшее ключевое слово для Google, чтобы найти хорошие шаблоны по этому поводу, - "Изменить сбор данных" (обязательно сначала прочитайте страницу википедии)
• Книга Ральфа Кимбалла "Инструментарий ETL хранилища данных", хотя и старая, содержит много интересных идей по смежным темам.
• Большинство баз данных (даже в последнее время в PostgreSQL 9.5 UPSERT) предоставляют полезные команды для слияния и обновления только измененных и т. Д. (MERGE и т. Д.)

Надеюсь это поможет!