"Метаданные" означает что? Я продолжаю слышать эту фразу в контексте ETL, но никогда не мог понять это

Question

Извиняюсь, если я задаю несоответствующий вопрос, но я слышал эту фразу "Метаданные движимы" в течение многих лет, но не мог понять.

Метаданные согласно моему пониманию - это данные (информация) о данных! Я понимаю это более или менее!!

Но когда я слышу "MetaData Drived" (особенно в мире ETL), я не могу понять, что именно это означает.

У меня есть хороший опыт работы с одним инструментом ETL SSIS, поэтому пример в этом контексте будет легко разобрать.

Answer 1

Предположим, вы перемещаете 5 строк из таблицы A в таблицу B и хотите убедиться, что затрагиваются только строки, соответствующие определенным критериям. В этом случае ваш процесс зависит от данных и, следовательно, является примером управляемого данными проекта.

Теперь давайте представим, что у вас есть несколько "похожих" схем исходной и / или целевой таблиц, которые похожи на то, как вы хотели бы их обрабатывать, но отличаются по точной реализации (имя таблицы, имена столбцов, типы данных столбцов или даже тип БД: Oracle, MS SQL, Sybase, даже простой файл или XML), поэтому вам нужно "подключить" источники и цели, соединения с БД и т. д. для конкретного ETL во время фактического запуска ETL,

Что вам нужно, так это четкое отделение "логического" процесса ETL от "физической" реализации. Другими словами, вы хотели бы, чтобы ETL описывался в общих логических единицах / терминах, которые заменяются фактическими физическими единицами во время его выполнения.

Затем вы получите описание ETL-процесса, который достаточно универсален для любой ситуации и получает надлежащую настройку для конкретных исходных / целевых систем на основе метаданных этих источников и целевых объектов - дизайн, управляемый метадой, который позволяет вам иметь общее "логическое" представление вашего процесса ETL, которое становится "физическим созданием" во время выполнения.