Описание тега python-bigquery

Вопросы с тегом
4 ответа

Данные BigQuery не вставляются

Я использую клиентскую библиотеку Python для вставки данных в большую таблицу запросов. Код выглядит следующим образом. client = bigquery.Client(project_id) errors = client.insert_rows_json(table=tablename,json_rows=data_to_insert) assert errors == …
27 май '19 в 10:10
2 ответа

Как объединить таблицу BigQuery с таблицей ADH(Ads Data Hub)

У меня есть таблица BigQuery "A" со схемой {'UUID': 'String'}, Я хочу объединить эту таблицу с таблицей ADH(Ads Data Hub) "B", имеющей схему {'UUID': 'String', 'USER_ID': 'INT'} на UUID и получить все user_ids на новый стол. У меня проблемы с соедин…
28 май '19 в 09:54
0 ответов

Как подключить спарк к biqquery с моей локальной машины

Я пытаюсь использовать соединитель BigQuery со Spark на моем локальном компьютере. Но он выдает ошибку - Ошибка при получении токена доступа с сервера метаданных по адресу: http://169.254.169.254/computeMetadata/v1/instance/service-accounts/default/…
19 июн '19 в 10:36
1 ответ

При экспорте результата оператора SELECT в BigQuery создается только пустая таблица

Я пытаюсь экспортировать результаты оператора select в другую таблицу в качестве постоянного хранилища. Но когда эта новая таблица создается, она не имеет схемы. Когда я пытаюсь запросить эту таблицу результатов, появляется ошибка: Таблица project-i…
25 июн '19 в 11:20
1 ответ

BigQuery показывает только первую букву значения в потоковом буфере

Я передаю данные в BigQuery с помощью клиентской библиотеки Python. Строка данных попадает в потоковый буфер BQ просто отлично, но когда я запускаю запрос, чтобы просмотреть его, я вижу только первую букву введенного мной значения. В частности, я за…
05 авг '19 в 04:38
1 ответ

Импорт файла XLS из GCS в BigQuery

У меня есть некоторые данные.xls в облачном хранилище Google, и я хочу использовать поток данных для их сохранения в GCP. Могу ли я экспортировать его напрямую в BigQuery или я могу использовать дополнительную библиотеку (такую ​​как pandas и xlrd) …
06 авг '19 в 04:50
1 ответ

Bigquery к Авро

В настоящее время я запускаю SQL-запрос для извлечения данных из набора данных Public BigQuery в таблицу, откуда я могу легко использовать функцию экспорта для генерации файла Avro и сохранения его в GCS. Как сгенерировать этот файл программно? Я ис…
03 июн '19 в 09:12
1 ответ

Динамическая обработка схемы таблицы Bigquery при вставке данных в таблицу BQ из переменной

Я пытаюсь добавить данные в таблицу BQ, используя код Python, который требует обработки динамической схемы. Может ли кто-нибудь предоставить мне ссылку для обработки выше сценария.
03 июл '19 в 11:48
1 ответ

Вставить в таблицу с колонкой записи, которая повторяется (рассматриваемый экран)

У меня есть таблица в BigQuery со структурой И проблема с получением данных для проверки записи Я пытаюсь вставить таким образом: query = ( """ INSERT INTO test.qwe (name, nick, test) VALUES(@name, @nick, @test) """ ) hitTimeStamp = int(time.time())…
05 июл '19 в 18:02
2 ответа

Как исправить: сравнение результатов запроса BigQuery с списком

Я новичок в Python, я ценю любую помощь. Я хочу список действий группы, которые приобрели за 4$ таким образом: purchase_date(1,1,0,1,1,0,1) где purchase_date дата покупки, а arrays indeces+1 дает дни после покупок. 1 означает активный день, 0 означа…
17 июл '19 в 14:02
1 ответ

При написании запроса для bigQuery, как написать имя таблицы и имя столбца, используя переменные вместо жесткого кодирования

В указанном ниже запросе projectname-dataset-tableName жестко закодировано в запросе query = """ SELECT city from bigquery-public-data.openaq.global_air_quality WHERE country = 'IN' """ Как написать то же самое более динамичным способом? Атрибут ful…
17 июл '19 в 15:51
4 ответа

NonePandas to gbq утверждает, что схема не совпадает, а схемы в точности совпадают. На GitHub все проблемы, как утверждается, были решены в 2017 году

Я пытаюсь добавить таблицу в другую таблицу с помощью панд, извлекая данные из BigQuery и отправляя их в другой набор данных BigQuery. Несмотря на то, что схема таблицы точно такая же, я получаю сообщение об ошибке "" Пожалуйста, проверьте, что стру…
11 июн '19 в 17:13
1 ответ

Прочитать таблицу Big Query со схемой Avro, используя beam, python

Я изменил apache-beam SDK с 2.5.0 на 2.12.0 и получил ошибку схемы Avro при чтении таблицы из Big Query в луче с использованием python. В таблице BQ есть одно поле TIMESTAMP, остальные - STRING. data = pipe \ | 'read bigquery' >> beam.io.Read(…
01 июл '19 в 17:01
1 ответ

AttributeError: у объекта "Клиент" нет атрибута "запрос"

Я пытаюсь реализовать BigQuery в Python 2.7 на ноутбуке Jupyter. Я думаю, что мой код правильный, но я получаю ошибку "AttributeError: у объекта" Клиент "нет атрибута" запрос "" # Create SQL query using natality data after the year 2000 query = """ …
03 июл '19 в 19:56
1 ответ

Как я могу использовать несколько проектов BigQuery вместе в Python

Предположим, у меня есть большой проект запроса A и B. Мне нужно объединить таблицу проекта A с проектом B. Как я могу объединить два проекта, используя python. project_id = 'xyz' query_job = """SELECT * from test limit 10""" results_df = gbq.read_g…
17 авг '19 в 16:47
1 ответ

Читать Apache Beam + большой запрос таблицы

У меня есть набор данных в большом запросе в проекте: Project: project-x Table: table01 Dataset: dataset01 Я хотел бы подключиться к нему из Apache Beam и прочитать значение одного column-column01 например... Вот что у меня есть: import apache_beam …
17 авг '19 в 16:55
1 ответ

Массивы не поддерживаются в Bigquery Python API

Поддержка Python Bigquery API указывает, что массивы возможны, однако, при переходе от фрейма данных pandas к большому запросу возникает проблема структуры pyarrow. Единственным выходом является удаление столбцов и использование JSON Normalize для о…
01 июл '19 в 15:11
0 ответов

API хранилища BigQuery зависает при создании сеанса чтения

Я могу использовать API хранилища BigQuery для чтения примера общедоступного набора данных. Но когда я создал свой собственный набор данных, он попал в сессию создания чтения: client.create_read_session, Проблема все еще сохраняется, даже когда я пр…
30 июл '19 в 06:16
0 ответов

Как исправить "полевые единицы уже существуют в схеме" для панд gpq

Версии: Mac OS Mojave 10.14.5 Python 3.6.5 Pandas 0.24.2 pandas-gbq 0.10.0 Я пытаюсь получить данные из API на станции и загрузить их в bigquery для использования в нашей платформе BI (таблица). Я успешно сделал вызов API, который возвратил объект j…
18 июн '19 в 01:59
2 ответа

"Есть ли способ получить данные между текущей датой и вчерашней датой с помощью запроса в Bigquery"

"Я использую запрос для получения данных с текущей даты на вчерашнюю дату в Bigquery, но я не могу получить вчерашнюю дату в BQ" SELECT COUNT (*) FROM `urbn-edw-prod.UrbnProcessingErrors.RetailFeedDimensionError` WHERE errorReason = "Invalid Merchan…
25 июн '19 в 15:40