Описание тега bigquery-udf

Вопросы с тегом
BigQuery поддерживает пользовательские функции (UDF). UDF позволяет вам создавать функцию, используя другое выражение SQL или JavaScript. Эти функции принимают столбцы ввода и выполняют действия, возвращая результат этих действий в качестве значения.
1 ответ

Выход за пределы ограничений Bigquery JS UDF с несколькими строками

У меня проблемы с ограничениями BigQuery JS UDF. Единственный задокументированный предел памяти [1] - этоapproximately 5 MB or lessограничить количество данных, выводимых UDF, поэтому я установил внутреннюю проверку для возврата ошибки, когда выходн…
10 мар '20 в 17:30
1 ответ

Чувствительность к регистру имен функций в BigQuery

Я изучаю синтаксис Google BigQuery, и в настоящее время читаю документацию по идентификаторам и чувствительности к регистру. Я сосредоточен на стандартном синтаксисе SQL BigQuery. В документации говорится: BigQuery следует следующим правилам чувстви…
03 июн '20 в 21:34
1 ответ

Как создать многоразовую UDF в BigQuery

Я реализовал одну функцию, определяемую пользователем, которая анализирует сложный JSON и возвращает сотни полей для создания новой таблицы. CREATE TEMP FUNCTION PARSE_DATA(input STRING) RETURNS STRUCT<field_a STRING, field_b STRING, field_c ARRA…
02 мар '20 в 06:41
1 ответ

Эквивалент оператора слияния в BigQuery

Выполняю миграцию с тераданных на большой запрос. Я столкнулся с оператором слияния, содержащим ЗНАЧЕНИЯ в предложении USING. MERGE INTO department DL USING VALUES ( 2,'ABC' ) AS V (Run_Id, Country) ON DL.department_id = V.Run_Id WHEN MATCHED THEN U…
20 июн '20 в 12:39
0 ответов

загрузка bigquery: разделение на целое число после разговора с отметкой времени

У меня есть данные avro с ts который является авро логическим типом [timestamp-millis][1]. Мне нужно загрузить их в bigquery и разделить на ts. Могу ли я использовать --schema а также --time_partitioning_field аргументы для преобразования tsпоставит…
04 авг '20 в 18:49
0 ответов

BQML и TensorFlow: время выполнения UDF-worker истекло; Произошло неожиданное прерывание для рабочего tensorflow-worker-166: request_timeout

У меня сохранена модель TensorFlow, и я успешно создал из нее модель BigQuery ML. Я могу успешно вызвать модель и получить результаты по небольшому количеству строк (примерно до 50 или около того), выполнив что-то вроде этого: WITH model_input AS ( …
09 июн '20 в 10:12
1 ответ

Как я могу присвоить значение переменной, объявленной вне исключения в bigquery?

Я использую хранимую процедуру, и мне нужно присвоить значение переменной, объявленной вне исключения, идея состоит в том, чтобы иметь возможность вызывать другую хранимую процедуру с дополнительными переменными при возникновении ошибки BEGIN DECLAR…
01 июл '20 в 01:16
2 ответа

Данные JOIN в таблице событий с самыми последними данными в таблице журнала изменений до момента события

Я ищу JOIN данные из таблицы стилей журнала изменений пользователей в таблицу событий, которые имеют совпадающие идентификаторы Таблицы следующие: project_events схема timestamp TIMESTAMP event_id STRING user_id STRING data STRING пример данных | ti…
03 сен '20 в 23:57
1 ответ

Можно ли сохранить общее состояние между окнами при использовании UDF в BigQuery?

Это вопрос, следующий за моим предыдущим вопросом о возможности эмуляции агрегатных функций (например, в PGSQL) в BigQuery. Решение, предложенное в предыдущем вопросе, действительно работает для случаев, когда функция, применяемая в каждом окне, не …
10 сен '20 в 22:15
1 ответ

Пользовательская функция не найдена

Я создал постоянную функцию UDF для проверки таких писем: create or replace function `project-name`.udf_library.is_valid_email(text STRING) returns Bool as (REGEXP_CONTAINS(text, r"valid_regex")); и протестировали его с помощью следующего …
16 ноя '20 в 14:24
0 ответов

Как проверить схожесть строк из двух таблиц с вводом нескольких слов в BigQuery

У меня есть две таблицы, содержащие список названий компаний. Первая - это индексная таблица, поэтому значение внутри будет чистым, а формат согласованным. Во второй таблице содержится информация о компании, введенная пользователем, поэтому возможны…
05 окт '20 в 15:04
0 ответов

Fuzzymatch в BigQuery

Оптимизация производительности BigQuery Fuzzymatch Привет, в настоящее время я экспериментирую с запуском алгоритма нечеткого соответствия непосредственно в Big Query и хочу получить некоторые рекомендации о том, как мой текущий подход можно оптимиз…
02 ноя '20 в 16:46
0 ответов

Скрипты Bigquery - динамическое преобразование строк перед вставкой

У меня есть таблица A и таблица B. В таблице A все столбцы представляют собой строки В таблице B у меня те же столбцы, что и в таблице A, но с их реальным типом. Я хотел бы использовать процесс сценария bq, чтобы получить мои строки A, преобразовать…
30 сен '20 в 12:18
1 ответ

Хранимая процедура BigQuery SQL%RowFound

Как проверить, успешно ли вернул оператор SQL в хранимой процедуре одну или несколько строк. Ниже приводится моя хранимая процедура, в которой я проверяю, есть ли в конкретной таблице дубликаты. Я не уверен, как написать оператор IF в хранимой проце…
01 дек '20 в 16:26
1 ответ

Обходные пути для эмуляции UDF для оконных агрегатов в BigQuery?

Я пытаюсь писать собственные агрегатные функции в BigQuery. В PGSQL я могу писать определяемые пользователем агрегатные функции, которые можно использовать с over предложение, но я не могу написать такие агрегатные функции для BigQuery - можно ли на…
10 сен '20 в 15:01
1 ответ

* аргументы в хранимой процедуре BigQuery

Есть ли концепция *args в параметрах BigQuery (аналогично pytho *args) Я пишу общую хранимую процедуру, которая проверяет, есть ли в таблице повторяющиеся строки. Очевидно, что количество столбцов будет изменяться и указываться во время выполнения. …
24 ноя '20 в 21:04
0 ответов

Использование циклов с запросами UDF BigQuery

Я пытаюсь обработать некоторые дистрибутивы между таблицами с помощью Levenshtein-UDF (постоянный) внутри другого UDF (временный). Я себе это представляю: Получите доступные дистрибутивы в таблице A, которые запрошены в таблице B. Прокрутите дистриб…
27 ноя '20 в 02:05
1 ответ

Поддерживает ли BigQuery аналитические пользовательские функции?

BigQuery поддерживает: Пользовательские функции (UDF) в SQL и JavaScript. Аналитические функции, которые вычисляют значения по группе строк и возвращают один результат для каждой строки. Эти функции можно использовать с предложением OVER. Есть предо…
26 ноя '20 в 19:53
0 ответов

Объединение таблиц показывает пустые значения дат вместо отображения фактических значений дат. Не знаю почему

Я новичок в Google BigQuery, и я создал объединение таблиц из разных источников данных. Однако при объединении таблиц для определенных кампаний поле фактической даты остается пустым. Почему это происходит, если в исходных данных доступно поле даты д…
15 фев '21 в 16:48
2 ответа

Валюта округления до итоговой суммы

У меня есть сумма налога с продаж, которую мне нужно равномерно разделить на 3 элемента. Например: $153.88/3 = 51.29333333333333 При округлении до 2 десятичных знаков для обозначения валюты it = $51.29. тем не мение $51.29*3=$153.87 что составляет 1…
06 фев '21 в 04:15