Kylin Multi Column Date
Итак, у нас есть таблица улья с аналитическими данными о событиях (показы, клики, конверсии и т. Д.). Типичный день дает около 50-100 миллионов строк в этой таблице с около 30 столбцами.
Мы пытались перейти на Kylin и подготовить кубы из данных, которые находятся в этой таблице.
Теперь проблема заключается в следующем:
- Эта таблица кустов разбита на столбцы YEAR, MONTH, DAY. Которые являются отдельными столбцами.
- Kylin не принимает такие отдельные столбцы, как "Столбец даты раздела".
- Выполнение запросов Hive для столбцов без разделов - это кошмар.
Единственное решение, которое я вижу, состоит в том, чтобы дать пользователю возможность при настройке указать отдельные столбцы, подобные этому, и затем создать запрос соответствующим образом.