Задача управления CDIS SSIS
Я делаю проверку концепции использования компонента SSIS CDC.
Для начальной загрузки: что я получил до сих пор
Шаг 1: Задача управления CDC с операцией управления CDC как: Пометить начало начальной загрузки Шаг 2: Поток данных для загрузки всех исходных записей в пункт назначения. Шаг 3: Задача управления CDC с операцией управления CDC как: Пометить конец начальной загрузки (остаток настройки с CDC на шаге 1)
Когда я запускаю в первый раз... все данные загружаются нормально. Если запустить то же самое... вместо того, чтобы выбрать ни одной записи (без изменений в источнике) ... он перезагрузит все записи снова... дублирование.
Не проверяет ли это в таблице состояний CDC, созданной на шаге 1.
Любой может указать мне хороший пример или учебник будет здорово.
2 ответа
Да, я понял... что я делал неправильно, я создал один пакет, чтобы выполнить всю начальную и инкрементную загрузку. И еще, я не создал шаг для "Mark CDC Start" после начальной загрузки. Теперь у меня есть один пакет, который выполняет полную начальную загрузку, а затем запускает Marks CDC. Затем начинается мой второй пакет для дополнительной загрузки.
Прежде всего, вы должны понимать, что CDC Control Task имеет дело только с LSN. Он считывает его из базы данных с поддержкой CDC и сохраняет его в указанной переменной, чтобы последующий шаг мог его использовать. Необязательно он может сохранить значение в таблице базы данных, а затем использовать его при последующем выполнении пакета.
Шаг 1 и шаг 3, по существу, просто переводят один номер LSB в состояние CDC, соответственно, максимальный LSB, когда выполняются эти шаги. Во время выполнения начальной загрузки могут одновременно выполняться другие действия, эти 2 шага дают нам диапазон LSB, который охватывает начальный период загрузки.
Следующий прогон после начальной загрузки должен быть инкрементной загрузкой, которая использует источник CDC в потоке данных для извлечения транзакций, произошедших во время начальной загрузки.
Отличный пост от Мэтта Массона должен дать вам представление о CDC.