Hive для создания HFile: MapR
Я работал над небольшой задачей преобразования и загрузки данных куста в HFiles в HBase; рамки MapR. Используя массовую загрузку, я загружаю данные после преобразования в HFiles. Там нет никаких проблем с преобразованием, преобразование идет хорошо. Единственная проблема, с которой я сталкиваюсь, - это сбой в работе MR, когда размер данных улья увеличивается. Задание не выполняется из-за заполнения виртуальной памяти. Задание прерывается, если предел размера данных куста пересекает 10Gigs.
Все данные перемещаются на один сервер региона, а не распределяются по нескольким серверам региона; это кластер из 10 узлов, над которым я работаю. Кажется, есть горячая точка.
Я попытался разделить регионы на кратные (NUMREGIONS => 256) и равномерно распределить нагрузку (SPLITALGO => 'UniformSplit') между регионами. Но это не решает проблему. Кто-нибудь есть идеи, как решить эту проблему?
С уважением, Адиль