Написание сценария проверки Python для разных файлов данных из разных источников данных в локальной среде для разных правил

Question

Я новичок в python, и я хочу переместить файлы данных из разных локальных источников данных в хранилище озера данных Azure, и я хочу проверить эти файлы данных для различных правил проверки перед перемещением с помощью конвейера фабрики данных Azure и модуля данных Azure

Я знаю, как создать обычную активность копирования Python в блоках данных для запуска скрипта Python

мне нужна помощь с написанием скрипта для проверки

Answer 1

Возможно, вы захотите взглянуть на фабрику данных для перемещения файлов между разными хранилищами. Он довольно прост и масштабируем, и вы даже можете создавать конвейеры потока данных на основе кластера Spark без необходимости писать ни одной строчки кода.