Прервать связь Snowflake (загрузка) через Python

Во время связи со Snowflake (через Python) периодически происходят прерывания. Иногда эти перебои происходят через 10+ часов. Похоже, ошибка возникает во время процесса загрузки данных на стороне клиента.

Чтобы обеспечить понимание, наш процесс работает следующим образом: содержимое оператора SQL загружается пакетами и загружается в DataFrame Pandas. Каждый пакет из 1000 строк делится на 7 частей и параллельно отправляется на сервер PTV для геокодирования. Полученные данные затем сохраняются в целевой таблице Snowflake. Я пробовал использовать Snowflake.connector и Snowflake-sqlalchemy, у обоих была одна и та же проблема.

      numpy==1.24.2
pandas==1.5.3
snowflake-connector-python[pandas]==3.0.4
snowflake-sqlalchemy==1.4.7
sqlalchemy==1.4.48

файл журнала:введите здесь описание изображения

0 ответов

Другие вопросы по тегам