Таблицы шаблонов с разделением по дате в BigQuery?

Question

Я пытаюсь создать таблицы шаблонов с разделением по датам в BigQuery:

1. Создать базовую таблицу, используя bq mk --time_partitioning_type=DAY myapp.customer
2. API вызова insertAll с "tableId": "customer", "templateSuffix": "_activated"

Результирующий customer_activated таблица наследует схему customer стол, но не имеет timePartitioning,

Как я могу гарантировать, что таблицы шаблонов наследуют временное разбиение базовой таблицы?

Answer 1

Потоковые API еще не поддерживают разделение даты
Ваш вариант - использовать задание загрузки с разделом в качестве места назначения для начального заполнения, а затем просто использовать потоковую передачу непосредственно в таблицу (без использования разделов) и позволить bigquery определять временную метку раздела

В противном случае вам следует подождать, пока потоковая передача будет поддерживать разбиение по датам, что, по словам Google, произойдет в ближайшем будущем.

Обновить:

Примерно с середины 2017 года BigQuery поддерживает потоковую передачу в многораздельные таблицы.

Answer 2

Для людей, приезжающих сюда в будущем, принятый ответ устарел. API-интерфейсы BigQuery Streaming теперь поддерживают таблицы разделов даты, как для таблицы, так и для конкретного раздела

Ссылка на документы

Answer 3

Просто к вашему сведению, по состоянию на ноябрь 2022 года действительно возможно передавать данные в уже существующие секционированные таблицы, однако таблицы, созданные автоматически с использованием таблицы шаблонов, НЕ наследуют конфигурацию временного секционирования родительской таблицы, о чем ОП спрашивал в первое место.