Проблема сборки мусора на сервере региона HBase
Я работаю инженером-программистом больших данных почти год и столкнулся с очень серьезной проблемой на нашей производственной платформе.
Мы используем Cloudera Express 5.4.6. Наш кластер Hadoop имеет 2 узла имен и 9 узлов данных. Каждому из узлов данных присвоен сервер региона HBase. У нас есть около 14 ТБ сжатых данных.
Мы используем OpenTSDB поверх HBase, который находится поверх HDFS. В каждом DataNode есть экземпляр OpenTSDB, и эти экземпляры служат для записи данных в HBase.
Мы собираем данные с разными частотами опроса. Это (в минутах): 1,5,15,30,60,120.
Кроме того, MapReduces выполняется каждые два часа.
Данные представлены в нашем собственном веб-приложении, которое отправляет запросы OpenTSDB.
Недавно мы начали испытывать проблемы с сборкой мусора HBase RegionServer.
Один из наших региональных серверов попадает в длинные GC и замедляет поток данных в наше веб-приложение и в конечном итоге перезапускается.
Мы не добавили ничего нового или увеличили загрузку данных.
Эта проблема GC происходит каждый час, и с сегодняшнего дня она перешла на другой RegionServer.
У кого-нибудь есть рекомендации? Может ли это быть ошибкой?
Заранее спасибо.