Данные не отображаются периодически в пользовательском интерфейсе OpenTSDB

Question

Мы запускаем несколько тестов большого объема, передавая метрики в OpenTSDB (2.3.0) с помощью BigTable, и время от времени появляется любопытная проблема. Для некоторых показателей час данных перестает отображаться в веб-интерфейсе при выполнении запроса. Диапазон "пропущенных" данных очень четкий и граничит с часами (UTC). Через некоторое время, при повторном выполнении того же запроса, появляются данные. Кажется, здесь нет какой-то закономерности, кроме часового промежутка. Любые указатели на то, что искать и отлаживать это?

Answer 1

Как долго вы должны ждать, пока не появятся данные? Это всегда самый последний час, который отсутствует?

Пытались ли вы использовать OpenTSDB CLI, когда это происходит, и выдавать сканирование, чтобы проверить, доступны ли данные таким образом?

http://opentsdb.net/docs/build/html/user_guide/cli/scan.html

Вы также можете проверить с помощью сканирования оболочки HBase, чтобы узнать, сможете ли вы получить необработанные данные таким образом (вот информация о том, как они хранятся в HBase):

http://opentsdb.net/docs/build/html/user_guide/backends/hbase.html

Если вы можете проверить, есть ли данные, вероятно, это проблема веб-интерфейса. Если нет, то следующим вероятным виновником является создание резервной копии в конвейере записи.

Я не знаю ни одной конкретной проблемы в бэкэнд-слое Google Cloud Bigtable, которая могла бы вызвать такое поведение, но я полагаю, что некоторые люди сталкивались с проблемами с уплотнениями OpenTSDB в периоды высокой нагрузки, которые приводят к снижению производительности.

Стоит проверить в облачной консоли Google, чтобы увидеть, есть ли какие-либо отклонения в графиках задержки, ЦП или пропускной способности, которые коррелируют со временем, в течение которого вы испытываете проблему.