Предложения по структуре файлов SAS Data Mart

Question

Я работал над проектом SAS ETL, в котором мы сначала извлекаем данные за последний месяц из хранилища teradata в начале каждого месяца, а затем отправляем их для дальнейшей обработки.

Это делается с помощью сценариев извлечения для каждой таблицы, а затем данные сохраняются в ежемесячной структуре папок (ггггмм). После такой работы в течение нескольких месяцев мы начали получать запросы на ежедневные, еженедельные и т. Д. Экстракты. Текущая структура папок хранения данных:

Папка Library/Data/YYYYMM в одной библиотеке.

Мне нужно изменить структуру (с минимальным влиянием на текущую структуру), чтобы она соответствовала запросам разных временных периодов, таких как Ежедневно, Еженедельно, Раз в две недели, Ежеквартально и т. Д.

Я думал о двух вариантах: в текущей структуре (ежемесячные папки), добавить в

• Ежедневные, Еженедельные и Ежемесячные Папки
• Библиотека / ГГГГММ / Ежемесячно
• Библиотека / ГГГГММ / Ежедневно
• Библиотека / ГГГГММ / Еженедельно

папки.

Вариант 2. В библиотеке данных создайте папки, подобные

• ежемесячно
• Ежедневно
• еженедельно
• двухнедельный
• квартальный

Под каждой из них существуют отдельные папки с текущей датой / месяцем / кварталом.

Кто-нибудь может предложить какие-либо другие более практичные подходы к дизайну?

Answer 1

Возможно, наборы данных для генерации SAS подойдут: http://support.sas.com/documentation/cdl/en/lrcon/62955/HTML/default/viewer.htm

Вот выдержка из САС:

Набор данных генерации - это архивированная версия набора данных SAS, которая хранится как часть группы генерации. Набор данных генерации создается при каждой замене файла. Каждый набор данных генерации в группе генерации имеет одно и то же имя корневого члена, но каждый имеет свой номер версии. Самая последняя версия набора данных генерации называется базовой версией.