Описание тега google-bigquery
Google BigQuery - это продукт Google Cloud Platform, обеспечивающий бессерверные запросы наборов данных петабайтного масштаба с использованием SQL. BigQuery предоставляет несколько конвейеров чтения-записи и обеспечивает аналитику данных, которая меняет способы анализа данных предприятиями.
1
ответ
Каково соответствующее имя поля event_dim согласно новой схеме экспорта BigQuery?
Ссылка на схему Я пытаюсь найти записи event_dim в соответствии с новой схемой. Не могу найти.
22 сен '18 в 09:08
0
ответов
Как выбрать все столбцы таблицы больших запросов
У меня есть следующая таблица BigQuery: +---------------------+-----------+-------------------------+-----------------+ | links.href | links.rel | dados.dataHora | dados.sequencia | +---------------------+-----------+-------------------------+------…
23 окт '17 в 20:47
2
ответа
Как использовать EXISTS в BigQuery и получить то, что соответствует прошлому журналу
Я хочу знать. Кто-нибудь, кто получил доступ сегодня, получил доступ в прошлом? Число людей. SELECT COUNT(user_id) AS repeater_user_count FROM [access_log] AS table1 WHERE _PARTITIONTIME = TIMESTAMP('2017-02-28') AND EXISTS ( SELECT 1 FROM [access_l…
28 фев '17 в 12:33
1
ответ
Экспорт BigQuery CSV в GCS: установите заголовок Content-Type на "text/csv"
Я экспортирую таблицу больших запросов в виде CSV в общедоступную корзину Google Cloud. Оттуда я могу разместить его публично через HTTP. Кажется, что функция экспорта BigQuery (иначе извлечение) не устанавливает метаданные Google Cloud Storage файл…
19 июл '18 в 14:00
1
ответ
Задание Google Dataflow и BigQuery не работают в разных регионах
У меня есть задание Google Dataflow, которое не выполняется: BigQuery job ... finished with error(s): errorResult: Cannot read and write in different locations: source: EU, destination: US, error: Cannot read and write in different locations: source…
18 май '16 в 11:39
1
ответ
BigQuery - максимальный размер набора данных
Имеет ли набор данных BigQuery максимальный размер (ГБ вставленных данных)? Я не могу найти ответ на этот вопрос в документации BigQuery. На странице политики квот указывается максимальный размер загружаемых файлов и максимальное количество заданий …
11 июн '13 в 03:15
0
ответов
Решения обойти записи на параметры страницы?
Поэтому я пытаюсь настроить этот скрипт, который передает эти данные через API в BigQuery. Все это делается в командной строке, и я уже успешно настроил фреймворк за ним. В частности, настройка файла schema.json. Когда я запускаю следующее, он успеш…
16 ноя '16 в 18:33
2
ответа
Имя столбца не найдено
Я запустил новый запрос, чтобы перезаписать набор существующих таблиц. Схема таблицы изменилась как один из ожидаемых результатов. Итак, что касается схемы, был добавлен один новый столбец, а два других были удалены. Предположим, что один добавленны…
05 сен '17 в 19:20
1
ответ
Аутентификация и потоковая передача данных в BigQuery из мобильного приложения
Я хочу вставлять данные в BigQuery из мобильного приложения (разработанного в Unity) каждый раз, когда пользователь открывает приложение и входит в Facebook. Мне было интересно, могу ли я напрямую использовать потоковый API BQ из мобильного приложен…
19 апр '17 в 16:19
1
ответ
Google Bigquery API: как добавить результат запроса в таблицу?
Я уже прочитал некоторое введение по этой теме, но этот код не работал. Я создал таблицу 'product_flat_index' в проекте, и эта функция добавляет результат запроса к этой таблице. Но это не сработало. def insertValues(service): project_id = "59833004…
21 июн '16 в 09:04
1
ответ
Повторное поле в подзапросе
Я пытаюсь сравнить два строковых столбца, один из которых находится в повторяющейся записи и находится в подзапросе: #standardSQL SELECT name AS produit FROM samples.overmind_reports WHERE name IN (SELECT lines.article.sub_category.label FROM sample…
29 авг '17 в 08:05
3
ответа
Как узнать историческую погоду для любого города с BigQuery?
BigQuery содержит данные gsod NOAA, загруженные как общедоступный набор данных - начиная с 1929 года: https://www.reddit.com/r/bigquery/comments/2ts9wo/noaa_gsod_weather_data_loaded_into_bigquery/ Как я могу получить исторические данные для любого г…
15 янв '16 в 04:57
1
ответ
Как создать представление таблицы, содержащей столбец метки времени?
Этот вопрос является продолжением предыдущего, который я задал. У меня есть таблица (2014_05_31_transformed.Video) со схемой, которая выглядит следующим образом. Я поднял JSON, возвращенный API BigQuery, описывая его схему в этой сущности. Я пытаюсь…
04 июн '14 в 21:14
0
ответов
Таинственная ошибка при совмещении функции опережения, функции второго окна и псевдонима столбца
Рассмотрим следующий запрос: select corpus_date as alias ,lead(word, 1) over (partition by corpus order by word_count desc) lead ,max(word_count) over (partition by corpus) max_word_count from [publicdata:samples.shakespeare] where corpus='othello' …
01 окт '15 в 12:45
3
ответа
Как загрузить все данные в наборе данных Google BigQuery?
Есть ли простой способ напрямую загрузить все данные, содержащиеся в определенном наборе данных, в Google BigQuery? На самом деле я загружаю "as csv", делая один запрос за другим, но это не позволяет мне получить более 15 000 строк, а количество стр…
28 авг '13 в 16:33
3
ответа
Таблицы шаблонов с разделением по дате в BigQuery?
Я пытаюсь создать таблицы шаблонов с разделением по датам в BigQuery: Создать базовую таблицу, используя bq mk --time_partitioning_type=DAY myapp.customer API вызова insertAll с "tableId": "customer", "templateSuffix": "_activated" Результирующий cu…
25 июн '16 в 19:52
2
ответа
Обновление BQ View SQL
Я могу создать представление BQ, вызвав client.create_table, но не смог найти способ обновить SQL представления. Создавать: table = bigquery.Table(table_ref) table.view_query = view_query client.create_table(table) Обновлять? (не работает) table = c…
20 мар '18 в 21:46
1
ответ
Google BigQuery: ВЫБРАТЬ только из новейших таблиц
У меня есть таблицы Big Query, как показано ниже, и мне нравится выдавать запрос к новейшим таблицам для каждой группы (отмечен <=) prefix_AAAAAAA_20170329012345 : prefix_AAAAAAA_20170413032333 prefix_AAAAAAA_20170413112205 <= prefix_BBBBBBB_2…
14 апр '17 в 08:35
0
ответов
Apache Beam - Python - Потоковая передача в BigQuery не записывает данные в таблицу
Apache Beam - Python - Потоковая передача в BigQuery не записывает данные в таблицу Я спроектировал простой Apache Beam Pipeline с использованием Python SDK, хотя я знаю, что возможности потоковой передачи Python SDK все еще разрабатываются. Я наткн…
01 сен '17 в 10:22
1
ответ
DEADLINE_EXCEEDED исключение для запроса вставки BigQuery
Я наблюдал эту проблему сегодня, когда BigQuery возвращал исключение DEADLINE_EXCEEDED в запрос потоковой вставки. Ответ об ошибке следующий: {"insertErrors":[{"errors":[{"debugInfo":"bigtable::Deadline missed: /BTI_TabletServer.Apply to 10.73.63.65…
28 сен '17 в 04:08