Разделы импала с <или> условиями
У меня есть 2 ТБ записей о сотовых телефонах, около 33 миллиардов просмотров 1,8 миллиона пользователей. Я создал раздел по идентификатору пользователя. Импала создает много подкаталогов под названием userid=XXXXX, Это похоже на чрезмерное разделение с 1,8 миллионами вложенных папок. Есть ли способ иметь разделы с диапазоном или массивом чисел?
1 ответ
В настоящее время Импала не имеет какого-либо разделения диапазона. Таким образом, вам нужно будет разделить другой столбец в вашей таблице, чтобы создать меньше разделов. Или в качестве обходного пути вы можете добавить в свою таблицу дополнительный столбец, в котором хранится указанный диапазон, который вы хотите для каждой записи, а затем разделить на столбец "диапазон". Пример: у вас есть запись с полем user_id=1234, которая также будет содержать поле вашего диапазона user_range=0_100000, которое вы можете использовать для разбиения.