Обработка исключений записей об ошибках операций копирования фабрики данных Azure
В copy-activity есть функция в настройках, где мы можем указать системе, что делать в случае ошибки. Доступно 3 варианта. Прервать при первой записи ошибки, пропустить все строки ошибок, пропустить строки ошибок и записать их. Можем ли мы каким-то образом достичь следующей функциональности? - Если в файле больше 10% записей, выдает ошибку, пропустите этот файл, иначе загрузите
заранее спасибо
1 ответ
У меня есть обходной путь, дайте мне знать, если у вас есть лучший вариант - Загрузите данные в целевой объект, используя настройку отказоустойчивости как "пропускать и регистрировать несовместимые строки" - Мы получим общее количество строк, достигших операции копирования и количество строк, попавших в цель. Из этих двух чисел мы можем вычислить%. - если этот% больше 10 (или порогового значения), удалите данные из цели и уведомите соответствующую команду или поместите это в журнал аудита
К вашему сведению - эта функция доступна в snowflake-DW, если мы напрямую используем скрипты для загрузки данных.