Обязательно ли иметь свойство md5-content, чтобы файл был автоматически загружен Snowpipe из azure adls gen2?

Question

Я пытаюсь загрузить данные через Snowpipe, но почему-то все файлы не загружаются, эти файлы из разных источников, включая автоматические задания, ручную загрузку, извлечение данных. Единственное, что я вижу общего, это то, что файлы, у которых нет md5, не загружаются автоматически, в то время как файлы, у которых есть. Итак, хотел подтвердить, знает ли кто-нибудь, что md5 необходим для автоматической загрузки файла?

Спасибо

Answer 1

Оказывается, API ADLS gen2 требует явного закрытия сброса, чтобы создать уведомление для снежинки, которое приводит к автоматическому захвату. Добавил это в лазурную функцию, и теперь, похоже, она работает нормально

Answer 2

Нет, для автозагрузки необязательно иметь MD5 (файл). Он полагается на службы уведомлений (SNS, SQS, Event Grid).

Я предлагаю вам запросить SYSTEM$PIPE_STATUS, чтобы узнать, сколько файлов ожидает, отметку времени самого старого файла в очереди, отметку времени последнего перенаправленного сообщения уведомления:

https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-s3.html