Объединение таблицы с секционированной / кластерной таблицей в BQ
Как всегда, благодарен за любой указатель в правильном направлении. Мой сценарий включает две таблицы, одна из которых является таблицей по умолчанию, а вторая - кластеризованной и секционированной по идентификатору и дате. Я считал, что это достаточное решение моей проблемы, описанной здесь: Превышено время ожидания операции - функция окна оптимизации BigQuery
Однако любой вид отсечения путем ссылки на таблицу по умолчанию, похоже, приводит к той же ошибке:
Невозможно выполнить запрос по таблице без фильтра по столбцу (столбцам) «отметка времени», который можно использовать для исключения секций.
Мне кажется, это наводит на мысль, что объединение кластеризованных данных не вариант. К сожалению, присоединение к кластеризованным таблицам не так хорошо документировано, поэтому благодарим вас за помощь.
Запрос:
Select *
from DefaultTable
Right Join ClusteredTable
on DefaultTable.vehicleId = ClusteredTable.vehicleid
WHERE
States.timestamp = Bikes.timestamp
РЕДАКТИРОВАТЬ: Я должен отметить, что нет проблемы, когда Bikes.timestamp заменяется фактической String Date.
1 ответ
Моя проблема заключалась в том, что ни одна из временных меток не совпала. Решение, которое я использовал, состояло в том, чтобы агрегировать диапазоны временных меток по диапазону. Спасибо за помощь и время :)