Создать улей раздел на основе часового пояса

Question

Я пытаюсь материализовать таблицу кустов на основе файла, который хранится как паркет в GCS, с путем, например, gs://abc/dt=02-02-2019/hr=02(физический раздел на основе UTC)

Теперь я хочу создать две таблицы кустов, в которых логический раздел основан на часовом поясе, скажем, один для UTC, а другой для CET, как я могу разделить так, чтобы раздел на основе даты и часа выбирал значения dt и hr на основе часового пояса. Кроме того, было бы замечательно, если бы он также мог приспособиться для экономии дневного света и т. Д.

Я использую воздушный поток для создания внешнего стола улья.

Answer 1

есть блог, который хорошо объясняет это https://medium.com/udemy-engineering/supporting-multiple-time-zones-on-hive-with-single-data-source-b884cba46451

Основная идея - хранить данные как время utc. И разделены по часам utc. Таким образом мы можем получить две таблицы-улья. Одна таблица улья указывает как есть, а это utc. Но для таблицы куста PT вы должны указать 18-й час на 11-й час UTC, поэтому преобразование сопоставления происходит в каждом.