Описание тега snowflake-connector

Вопросы с тегом
1 ответ

Как сделать столбец круглыми скобками для коннектора в виде снежинки pd_writer

Я пишу фрейм данных в таблицу Snowflake через snowflake-connector. Столбец в (, )в этом. Я пытаюсь писать с df.to_sql(table, con=engine, index=False, if_exists='replace', method=pd_writer). Которая создает таблицу на лету. Преобразует df в паркетном…
09 авг '21 в 23:52
0 ответов

получение TypeError при использовании метода write_pandas

Использование решений из этого вопроса: как прочитать список файлов паркета из S3 в качестве фрейма данных pandas с помощью pyarrow?, Я импортирую следующее, чтобы скопировать данные из ведра s3 в таблицу снежинок: from snowflake.connector.pandas_to…
27 окт '21 в 19:20
0 ответов

Коннектор Snowflake Python не работает на Crontab

Заранее спасибо за помощь У меня есть сценарий python 3.7, отлично работающий на Ubuntu Linux 18.04.5 (Aws EC2) при выполнении вручную. Когда я пробую его на crontab, он не распознал модуль SnowFlake, ошибка "ModuleNotFoundError: No module named 'sn…
15 окт '21 в 18:33
1 ответ

Неуникальный индекс фрейма данных pandas, созданный с помощью cur.fetch_pandas_all() после загрузки данных из Snowflake [дубликат]

Проблема возникает, когда вы пытаетесь сделать фрейм данных pd.concat с неуникальным индексом, он не работает с pandas.errors.InvalidIndexError: Reindexing only valid with uniquely valued Index objects
10 ноя '21 в 13:53
1 ответ

Я могу видеть только 1 работника, хотя в кластере KAFKA

$ curl localhost:8083 / Connectors / file-stream-demo-Distributed / status {"name": "file-stream-demo-Distributed", "connector": {"state":"RUNNING","worker_id": " XX.XX.XX.XXX:8083"},"tasks":[{"id":0,"state":"RUNNING","worker_id":"XX.XX.XX.XXX:8083"…
15 ноя '21 в 16:23
0 ответов

Коннектор снежинки Kafka, работающий в распределенном режиме, останавливается через некоторое время

Журнал распределенного коннектора: для (главного) сервера A: 66, окончание - это главный сервер [SF_KAFKA_CONNECTOR], удалить файлы 1 из стадии: SNOWFLAKE_KAFKA_CONNECTOR_file_stream_demo_distributed_1770328299_STAGE_uat_invoice_topic_1573273750: 04…
21 ноя '21 в 09:42
1 ответ

Ошибка коннектора Snowflake: 001003 (42000): ошибка компиляции SQL (синтаксическая ошибка)

Я пытаюсь загрузить фреймворк pandas в таблицу Snowflake. Вот мой DDL таблицы SF: create or replace TABLE MY_TABLE ( WEBSITE VARCHAR(16777216), ORGANIZATION_NAME VARCHAR(16777216), ORGANIZATION_NAME_URL VARCHAR(16777216), IPO_STATUS VARCHAR(16777216…
22 ноя '21 в 18:10
0 ответов

без применения запроса усечения реализовать автоматическое приращение снежинки для числового столбца

Мне нужно реализовать функцию автоматического увеличения для числового столбца, не выполняя усечение каждый раз с уровня запроса, при создании самого столбца необходимо дать автоинкремент в снежинке create table "SNF_DB"."Operations"."Teams" ( index…
22 ноя '21 в 21:44
0 ответов

Возвращение статуса команды Snowflake Python PUT

Я пробую простую команду PUT через Python, используя коннектор снежинки в Windows 10. Из истории запросов в пользовательском интерфейсе команда PUT завершила выполнение, но Python все еще ожидает возвращаемого значения. Он как бы застревает каждый р…
22 ноя '21 в 22:08
1 ответ

Коннектор Kafka Snowflake: org.apache.kafka.common.network.InvalidReceiveException: недопустимый прием

Журнал распределенного соединителя рабочего узла: [2021-11-23 09:05:22,605] WARN The configuration 'config.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362) [2021-11-23 09:05:22,606] WARN Th…
23 ноя '21 в 14:09
0 ответов

обращается к кадрам данных из другой функции внутри класса

У меня есть класс, который содержит функции, которые подключаются к снежинке (используя коннектор снежинки) и выполняют очистку данных. Моя мысль заключалась в том, чтобы создать несколько функций для отдельной очистки данных. Я определил одну перем…
25 ноя '21 в 03:57
0 ответов

Недействительный запрос согласия во время получения токена oauth от Snowflake

Я создал интеграцию в Snowflake и получил идентификатор клиента, и когда я попытался получить токен oauth, он выдает мне сообщение об ошибке «Недействительный запрос согласия». но мое имя пользователя и пароль верны. Подскажите, пожалуйста, что мне …
04 дек '21 в 13:00
0 ответов

java.lang.ClassNotFoundException: net.snowflake.spark.snowflake.io.SnowflakeResultSetPartition

Я пытаюсь использовать Spark 3.0 для чтения данных из снежинки. Моя версия пакетов снежинок: "net.snowflake:spark-snowflake_2.12:2.8.4-spark_3.0," "net.snowflake:snowflake-jdbc:3.12.17" Любой быстрый указатель, что может быть причиной этой ошибки?
03 дек '21 в 23:37
2 ответа

Невозможно загрузить файл из этапа таблицы Snowflake DecodeError('Получен ответ с кодировкой содержимого: gzip, но не удалось его декодировать.')

Я новичок в Snowflake и пытался настроить коннектор Snowflake для извлечения данных из Kafka и передачи их в Snowflake. Я успешно настроил конвейер и вижу, что данные выгружаются в таблицу Snowflake. В рамках проверки того, как работает устранение н…
30 ноя '21 в 04:03
2 ответа

Как подключить SQLAlchemy к базе данных Snowflake с помощью OAuth2?

Мне нужно подключиться к Snowflake с помощью SQLAlchemy, но хитрость в том, что мне нужно пройти аутентификацию с помощью OAuth2. Документация Snowflake описывает только подключение с использованием имени пользователя и пароля, и это не может быть и…
04 дек '21 в 22:54
0 ответов

Отключение служб распределенных соединителей кластера Snowflake Kafka Connnector

Ошибка: это отключило сервер от кластера и остановило службы распределенного соединителя. Пожалуйста помоги [2021-12-08 14:07:20,484] ИНФОРМАЦИЯ [GroupMetadataManager brokerId=0] Удалено 0 смещений с истекшим сроком действия за 0 миллисекунд. (kafka…
08 дек '21 в 18:53
1 ответ

Есть ли способ запустить SnowflakeOperator, SnowflakeHook локально в скрипте, отличном от Airflow?

У меня есть несколько групп DAG, которые используют SnowflakeOperator и SnowflakeHook. Оба они подключаются к Snowflake, используя ввод, который я сохранил в Admin > Connections. SnowflakeHook( snowflake_conn_id="snowflake_connection", database='…
08 дек '21 в 20:27
1 ответ

Py4JJavaError Произошла ошибка при вызове o37.load. : net.snowflake.client.jdbc.SnowflakeSQLException: драйвер JDBC обнаружил ошибку связи

Я пытаюсь подключиться (PySpark + Snowflake) постоянно получаю ошибку. Я использую файлы jar PySpark 3.1, JDBC и Spark_Snowflake, также помещенные в Classpath. Не знаю, почему я получаю следующую ошибку. Код: from pyspark import SparkConf, SparkCont…
10 дек '21 в 10:53
1 ответ

Создать файл переменных среды в пользовательском интерфейсе Snowflake

Как я могу указать переменную среды в пользовательском интерфейсе Snowflake, чтобы при развертывании кода от одного клиента к другому мне не нужно было обновлять ключевое слово среды в коде.Like - Создать таблицу базы данных $env.schema.table; где и…
11 дек '21 в 09:39
0 ответов

ОШИБКА [42000] Ошибка компиляции SQL: строка 1 синтаксической ошибки в позиции 7 непредвиденная.

Возникает ошибка ERROR [42000] Ошибка компиляции SQL: строка синтаксической ошибки 1 в позиции 7 неожиданно при попытке предварительного просмотра и фильтрации таблиц с помощью Power Pivot. Я могу выполнять предварительный просмотр и фильтрацию из E…
10 дек '21 в 20:14