Преодолеть недостаток CDC
Моя компания хотела бы использовать сбор данных изменений для замены обмена интерфейсными файлами между вышестоящей системой и нисходящими системами. Upstream System работает в базе данных Oracle и содержит расширенный набор данных, тогда как Downstream Systems работает в базе данных MySQL и содержит подмножество данных, которые не являются полностью взаимоисключающими. Мы решили использовать CDC, потому что мы хотели бы наслаждаться
- Передача данных дельта вместо полного набора
- Автоматическая синхронизация данных
- Автоматическая повторная отправка, если передача данных прервана
Однако по сравнению с файлом интерфейса мы обнаружили следующий недостаток CDC
- Слишком сложный с точки зрения архитектуры
- Высокий уровень контроля безопасности на обоих концах и в средней сети
- Сложное управление данными, поскольку разные получатели нуждаются в разных наборах данных.
- Создать единую точку отказа
- Непрозрачный в передаваемых данных, по сравнению с обычным текстовым файлом
- Трудно контролировать эффективное время данных в нисходящей системе, если синхронизация осуществляется в реальном времени
- Значительно дороже, чем передача файлов
Как мы можем преодолеть вышеуказанные недостатки?