Google Big Query - таблицы с разделением по датам с возможными данными

Question

Наш пример использования BigQuery немного уникален. Я хочу начать использовать таблицы с разделением по датам, но наши данные очень вероятны. Он не вставляется, когда это происходит, но в конечном итоге, когда он предоставляется серверу. Время от времени это могут быть дни или даже месяцы, прежде чем какие-либо данные будут вставлены. Таким образом, атрибут _PARTITION_LOAD_TIME для нас бесполезен.

У меня вопрос, есть ли способ указать столбец, который будет действовать как аргумент _PARTITION_LOAD_TIME и при этом иметь преимущества таблицы с разделением по дате? Если бы я мог эмулировать это вручную и соответственно обновить BigQuery, тогда я мог бы начать использовать таблицы с разделением по датам.

У кого-нибудь есть хорошее решение здесь?

Answer 1

Вам не нужно создавать свой собственный столбец.
_PARTITIONTIME псевдо колонка все еще будет работать для вас!
Единственное, что вам нужно сделать, это вставить / загрузить соответствующий пакет данных в соответствующий раздел, ссылаясь не только на имя таблицы, но и на таблицу с декоратором разделов - например, на yourtable$20160718.
Таким образом, вы можете загрузить данные в раздел, к которому они принадлежат