Может ли BigQuery отбрасывать строки промежуточных итогов при ответе на запрос ROLLUP

Question

Когда я запрашиваю BQ с ROLLUP по потенциально большому набору критериев группировки (в данном случае campaign_group_id)

например:

SELECT
  campaign_group_id AS campaign_group_id,
  DATE(DATE_ADD(TIME, 3, 'HOUR')) AS DAY,
  SUM(impressions) AS imps
FROM
  [browser_traffic.2016_05_28],
  [browser_traffic.2016_05_29]
WHERE
  ( DATE_ADD( TIME, 3, "HOUR") >= '2016-05-28 00:00:00'
    AND DATE_ADD( TIME, 3, "HOUR") < '2016-05-30 00:00:00' )
GROUP EACH BY ROLLUP (campaign_group_id, DAY)
ORDER BY DAY ASC, campaign_group_id ASC
LIMIT 500

BQ возвращает много строк с промежуточными итогами, что не применимо в моем случае использования:

+-------------------+------+-----------+
| campaign_group_id | day  |   imps    |
+-------------------+------+-----------+
|              NULL | NULL | 158423933 |
|                61 | NULL |         0 |
|               496 | NULL |     79870 |
|               497 | NULL |     10492 |
|               809 | NULL |         0 |
|               936 | NULL |      2451 |
|               937 | NULL |         0 |
|               940 | NULL |      6844 |
|               942 | NULL |    207685 |
|               946 | NULL |         0 |
|               961 | NULL |         0 |
|               975 | NULL |     16167 |
|               976 | NULL |     15767 |
|              1018 | NULL |         0 |
|              1020 | NULL |         0 |
|              1022 | NULL |    766875 |
|              1039 | NULL |    355765 |
...

Мне нужно как-то уменьшить строки промежуточных итогов из результата, но оставить целую строку общего итога (которая является первой строкой в ​​приведенном выше результате)

Возможно ли, что BQ возвращает только строку общего итога для выбранных полей?

Answer 1

Вы можете отфильтровать результат запроса с помощью другого оператора SELECT:

SELECT campaign_group_id, day, imps 
FROM (
    ... your rollup query with LIMIT removed ...
)
WHERE (day IS NOT NULL) OR (campaign_group_id IS NULL)
LIMIT 500

Answer 2

Если вас интересуют итоги - вам, скорее всего, не нужен ROLLUP

Скорее вы можете рассмотреть обычную GROUP BY, как показано ниже

SELECT
  DATE(DATE_ADD(TIME, 3, 'HOUR')) AS DAY,
  SUM(impressions) AS imps
FROM
  [browser_traffic.2016_05_28],
  [browser_traffic.2016_05_29]
WHERE
  ( DATE_ADD( TIME, 3, "HOUR") >= '2016-05-28 00:00:00'
    AND DATE_ADD( TIME, 3, "HOUR") < '2016-05-30 00:00:00' )
GROUP 1
ORDER BY DAY ASC
LIMIT 500

Answer 3

Обратите внимание, что функция GROUPING() тоже существует и поможет вам в этом:

SELECT year, name, SUM(number) s,
       GROUPING(year) is_grouping_year, 
       GROUPING(name) is_grouping_name
FROM [bigquery-public-data:usa_names.usa_1910_2013] 
WHERE name IN ('John', 'Jovana')
AND year BETWEEN 2012 AND 2013
GROUP BY ROLLUP(name, year)
ORDER BY year, name

year    name    s       is_grouping_year    is_grouping_name     
null    null    21182   1                   1    
null    John    21164   1                   0    
null    Jovana  18      1                   0    
2012    John    10576   0                   0    
2012    Jovana  18      0                   0    
2013    John    10588   0                   0

В основном вы просите строки, где is_grouping_year а также is_grouping_name либо 0, либо 1.

Из документов:

При использовании функции ROLLUP вы можете использовать функцию GROUPING, чтобы различать строки, которые были добавлены из-за функции ROLLUP, и строки, которые фактически имеют значение NULL для группового ключа.

https://cloud.google.com/bigquery/query-reference