Описание тега snowflake-pipe

Вопросы с тегом
1 ответ

Порядок ключей разгрузки Snowflake object_construct должен быть таким же. как сохранить порядок не по алфавиту?

Я использую команду копирования снежинки, которая ниже возвращает файл с содержимым json скопируйте в @elasticsearch/product/sf_index from (выберите object_construct('id',id, alpha,'alpha') из ограничения таблицы 1) file_format = (type = json, COMPR…
10 авг '20 в 18:51
0 ответов

В задаче Snowflake у нас есть что-то вроде дочерней задачи, которая будет ждать, пока не встретятся зависимости, кроме условия родительской задачи

У меня 4 потока. A_STREAM, B_STREAM, C_STREAM, D_ STREAM У меня есть цепочка задач, в которой A_TASK является родительской и имеет 3 дочерних задачи (B_TASK, C_TASK, D_TASK). CREATE TASK A_TASK WAREHOUSE = XYZ SECHDULE = '15 MINUTE' WHEN SYSTEM$STRE…
15 авг '20 в 19:49
1 ответ

Сбор измененных данных (CDC) - периодическая синхронизация наборов данных между промежуточным файлом S3 и таблицами Snowflake

Например: Источник: S3 Плановое обновление: 2 раза в день Target: Стол из снежинок Потоковое: НЕТ В День 0 у меня есть таблица клиентов, созданная и загруженная в Snowflake DB. Файлы S3 обновляются 2 раза в день, и они также должны отображаться в та…
25 май '20 в 17:48
2 ответа

Как переместить или изменить трубу без потери или дублирования каких-либо записей

На этой странице по управлению конвейерами предлагается процесс преобразования копии в оператор конвейера. Приостановите конвейер (используя ALTER PIPE … SET PIPE_EXECUTION_PAUSED=true). Выполните запрос к функции SYSTEM$PIPE_STATUS и убедитесь, что…
17 мар '20 в 21:36
1 ответ

Привязка динамического значения Snowflake и постоянное значение

Мне нужно передать динамическое значение в качестве имени столбца в мою таблицу из цикла и постоянное значение. Мой фрагмент кода выглядит примерно так:While(res.next()){var columnname= res.getColumnValue(1);var stmt=insert into table1(column1,colum…
07 апр '20 в 17:52
2 ответа

Обязательно ли иметь свойство md5-content, чтобы файл был автоматически загружен Snowpipe из azure adls gen2?

Я пытаюсь загрузить данные через Snowpipe, но почему-то все файлы не загружаются, эти файлы из разных источников, включая автоматические задания, ручную загрузку, извлечение данных. Единственное, что я вижу общего, это то, что файлы, у которых нет m…
04 июн '20 в 16:44
2 ответа

Слияние / загрузка одинаковых файлов в нескольких папках в S3 в Snowflake

Нужна помощь в том, как добиться загрузки одного и того же файла, доступного в нескольких папках, в таблицу снежинок. Можно ли добиться с помощьюSnowflake Copy Command? Скажем, в корзине у меня есть.. Все файлы a.csv, которые находятся только под те…
10 июн '20 в 20:02
1 ответ

Загрузка до настройки непрерывной загрузки данных Snowpipe

У меня есть настройка Snowpipe для непрерывной загрузки данных в таблицы из ведра S3. Это длится около месяца (т.е. > 14 дней). В корзине есть данные до установки Snowpipe, и нам также нужно загрузить эти файлы в Snowflake. По всей видимости, Snowpi…
12 июн '20 в 19:34
1 ответ

Снежинка - Неудача при использовании сцены. Причина: [Указанный вами идентификатор ключа доступа к AWS недействителен.]

Я пытаюсь подключиться к своему личному ведру S3 с помощью Snowflake. Прежде всего, я использовал URL-адрес, идентификатор ключа aws и секретный ключ для создания этапа (Успех). Но когда я попытался перечислить ведро s3, я получил следующую ошибку -…
15 июн '20 в 22:10
0 ответов

Запись Snowpipe в DataDog

Есть ли способ подключить ведение журнала Snowflake Snowpipe к DataDog. Я хотел бы настроить мониторинг в реальном времени для Snowpipe, я знаю только инструменты отладки, такие как SYSTEM$PIPE_STATUS information_schema.copy_histor information_schem…
30 июл '20 в 17:50
2 ответа

Как устранить неполадки с автоматическим захватом Snowpipe?

Я пытаюсь загрузить все новые файлы из ведра AWS S3 в зависимости от его путей к двум таблицам Snowflake, но мне пока не удалось добиться успеха даже с одной таблицей. Что я пробовал: Создал этап: CREATE or replace STAGE DATA_SCIENCE.INFRA.jobs_reso…
13 авг '20 в 13:02
1 ответ

Может ли Snowflake работать в автономном режиме без помощи облака или машины блокировки?

Для постановки в Snowflake нам понадобится слой S3 AWS, Azure или локальная машина. Вместо этого можем ли мы передать файл из исходной команды по FTP напрямую во внутреннее хранилище Snowflake, чтобы оттуда Snowpipe мог загрузить файл в нашу таблицу…
14 авг '20 в 00:09
1 ответ

снежинка брось все трубы как узор

Я хотел бы отбросить все трубы в схеме снежинки, соответствующие шаблону. Вы можете показать трубы, соответствующие шаблону, как показано здесь. Пример: show pipes like '%NAME_LIKE_THIS%' in MY_DB.MY_SCHEMA Однако похоже, что подобная функциональнос…
02 сен '20 в 18:22
1 ответ

Как загрузить 533 столбца данных в таблицу снежинок?

У нас есть таблица с 533 столбцами с множеством столбцов LOB, которые нужно переместить в снежинку. Поскольку у нашей системы преобразования исходного кода возникла проблема с управлением 533 столбцами за одно задание. Мы разделили столбцы на 2 зада…
21 май '20 в 16:17
1 ответ

SnowSql нет ответа

Я использую SnowSql 1.2.5, и я не получаю ни ответа, ни ошибки, ничего от него. Неважно, какую команду я набираю, даже если набрать просто "SnowSql.exe" и нажать "Подтвердить", я не получу ответа. Это происходит на определенной машине, на других с т…
09 июн '20 в 12:07
1 ответ

Snowflake Java Script User Defined Table Function

How do I return a table with multiple columns from Snowflake Javascript UDF / UDTF?
30 июн '20 в 21:45
2 ответа

Конфигурация автоматического захвата Snowpipe выглядит так, как будто запускает все трубы

Я новичок в хранилище данных Snowflake и хочу загружать данные с помощью snowpipe и автоматического захвата с внешнего этапа (ведро S3), которое содержит несколько папок (по одной для каждой базы данных), а внутри этих папок есть несколько файлов по…
10 июл '20 в 19:25
1 ответ

Можем ли мы иметь условие запуска задачи в зависимости от условия успеха PIPE в SNOWFLAKE?

У меня есть требование, когда 3 разных файла будут загружены в одну таблицу с 3 разными PIPE. Я хочу, чтобы мой целевой процесс запускался только после того, как все 3 файла были загружены на мою сцену. Я не хочу запускать целевой процесс несколько …
23 июл '20 в 05:02
1 ответ

Снежинка трубка status numOutstandingMessagesOnChannel

У меня есть труба, которая вроде бы настроена нормально, но просто не работает. Я побежал select system$pipe_status('"MY_DB"."MY_SCHEMA".MY_PIPE_NAME'); я возвращаю все большее количество numOutstandingMessagesOnChannel Может кто…
26 авг '20 в 21:20
1 ответ

Проблемы Snowflake Data Pipeline - в частности, проблема с потоком

Задний план Я реализовал конвейер данных снежинки (файл журнала s3> SNS > труба> таблица этапов> поток> задача> сохраненный процесс /UDF > итоговая таблица) в нашей производственной базе данных снежинок. В то время как в нашей базе данных разработчи…
20 мар '20 в 20:54