Должны ли мы разделять пакеты ssis между несколькими проектами в нашем решении?

Question

Я использую SSIS2012, Я создал три схемы в моем хранилище данных (STG, TRSF, DW).

Схема STG предназначена для промежуточных таблиц. Все мои исходные файлы являются файлами CSV. Я передаю данные из моего источника в каждую таблицу в схеме stg. У меня есть отдельный пакет для каждой таблицы (например: если у меня есть 20 CSV-файлов, у меня будет 20 пакетов, и я заполню 20 таблиц в схеме stg)

После этого я передаю stg схема для trsf схемы. Во время этого процесса у меня есть свой бизнес. Я ищу FK, и на этом уровне будут применяться другие бизнес-правила. То же, что и в предыдущем примере, если у меня есть 20 таблиц stg схема, у меня будет 20 пакетов, и я буду заполнять 20 таблиц в trsf схемы.

На третьем этапе я перенесу данные из trsf схема для dw схемы. Здесь также у меня есть 20 пакетов.

В конце у меня будет 20 пакетов для чистки столов в stg схемы.

Я создаю 4 пакета для каждого преобразования между CSV-файлами и таблицами в dw схемы.

Я хотел бы знать, если это хорошая идея, чтобы создать 4 отдельных проекта для каждого шага? Потому что сейчас у меня 80 проектов в одном проекте, и его можно увеличить еще.

Answer 1

Я бы держал проекты вместе. Однако, чтобы разделить их, я бы оставил отдельные родительские задания для Landing, Staging и Data Warehouse. И вы можете управлять этими родительскими заданиями с помощью заданий основного родителя. Это даст вам свободу самостоятельно выполнять отдельные этапы.

Еще одно предложение, я бы предложил вам разделить Landing, Staging и Data Warehouse в отдельных базах данных. Поверьте мне, это поможет вам в долгосрочной перспективе.

Ура Нитин