Производительность поиска в базе данных

Question

У меня есть hbase, размещающий около 80G данных (около 110 миллионов строк). Каждая строка имеет переменное количество столбцов. Я хочу в первую очередь использовать эту базу данных для поиска ключевых слов (около 10 миллионов поисков) при минимальном времени. Каков наилучший способ сделать это? Способен ли остальной интерфейс звездных врат обрабатывать большое количество соединений?

Answer 1

Так как 10 миллионов просмотров - это возможно, лучше использовать memcache или redis. Потому что 80 ГБ достаточно для хранения в памяти.

Если вы настаиваете на hbase, то вам поможет Bloom Filter. Также использование пула соединений и параллельных потоков будет полезно для повышения производительности.