Большой анализ данных в веб-приложениях
Допустим, у меня есть очень большие данные временных рядов. Я храню эти очень большие данные, например, в таком хранилище, как Google BigTable. Я могу запросить и очень быстро получить данные из хранилища. Так что я могу справиться с проблемой хранения. До сих пор процесс очень эффективен.
Теперь у меня есть веб-приложение. Я хочу проанализировать большой временной ряд, хранящийся в BigTable, и визуализировать результат. Я хочу провести статистическую оценку этого временного ряда с более чем миллионом точек. Таким образом, у меня есть решение для хранения временных рядов, я могу вывести нужные временные ряды из хранилища, но я не знаю, как обращаться с временными рядами, когда вынимаю их из хранилища.
Какие инструменты на стороне сервера я должен использовать для обработки больших данных? Какие методы существуют для этого? Распараллеливание в бэкэнде и агрегированная визуализация в веб-интерфейсе? Бесполезно эффективно хранить данные, когда я не могу использовать большие данные таким же эффективным способом.
2 ответа
Если вы не хотите изобретать его заново, используйте Google BigQuery вместо Bigtable. https://cloud.google.com/bigquery/what-is-bigquery
В качестве альтернативы BigTable/BigQuery вы можете попробовать ATSD, он уже делает то, что вам нужно. Это база данных временных рядов, основанная на HBase. Он поставляется со встроенной визуализацией, и вы можете агрегировать любое количество данных непосредственно в виджетах или извлекать агрегированные данные с помощью API. Если вы храните данные датчика, вот хороший пример использования: https://axibase.com/environmental-monitoring-using-big-data/
Для анализа и визуализации данных временных рядов существует довольно хорошее решение под названием "Metatron Discovery". Он предоставляет большинство ответов на проблемы, которые у вас есть. Проверьте это!