Загрузка до настройки непрерывной загрузки данных Snowpipe

У меня есть настройка Snowpipe для непрерывной загрузки данных в таблицы из ведра S3. Это длится около месяца (т.е. > 14 дней). В корзине есть данные до установки Snowpipe, и нам также нужно загрузить эти файлы в Snowflake. По всей видимости, Snowpipe хранит данные истории копий только 14 дней. Что было бы хорошим способом идентифицировать файлы, которые еще не были загружены в таблицы, и массово импортировать их?

Источник

1 ответ

Решение

Вы пытались просмотреть ниже

SNOWFLAKE.ACCOUNT_USAGE.COPY_HISTORY . Он хранит данные истории загрузок за последний год как из копии в команду, так и историю загрузки снежной трубы.

Получите список файлов, загруженных с помощью Snowpipe, после чего вы сможете запланировать загрузку всех оставшихся файлов.

Пожалуйста, ознакомьтесь также с примечанием по использованию о задержке

https://docs.snowflake.com/en/sql-reference/account-usage/copy_history.html

Источник
Другие вопросы по тегам