Оптимизация чтения Hbase
Я использую 5 регионов в моем кластере hbase. Я просто храню md5-хэш URL-адреса как ключ строки и только одно семейство столбцов, содержащее поле данных, которое содержит данные, соответствующие ключу (каждая строка содержит данные размером около 30 КБ). Мои запросы интенсивно читаются (очень мало записей и очень большие чтения). Я выполнил тестирование моего кластера для примерно 300000 записей, используя предварительное разделение 5(для равномерного хранения данных на 5 серверах региона), и получаю qps около 200. В тесте производительности я запустил 150 потоков, чтобы запросить чтение из отдельной клиентской коробки.
Этот qps слишком мал для меня. Какую оптимизацию можно выполнить, чтобы улучшить чтение qps (для меня будет нормально, если в результате оптимизации уменьшится запись qps). На данный момент я использую конфигурацию по умолчанию для hbase. Каждый регион-сервер, включая главный, имеет 8 ГБ оперативной памяти и имеет 4 ядра. И мой кластер находится в AWS в той же зоне.