Использование ElasticSearch в качестве постоянного хранилища
В последнее время я работаю над проектом, который ежедневно генерирует огромное количество данных. В этом проекте есть две функциональные возможности: одна хранит данные в Hbase для будущего анализа, а вторая отправляет данные в ElasticSearch для мониторинга. Поскольку данные огромны, мы должны хранить данные на двух платформах (Hbase,Elasticsearch)! У меня нет опыта в обоих из них. Я не хочу знать, можно ли использовать эластичный поиск вместо hbase в качестве постоянного хранилища для будущей аналитики?
2 ответа
Я рекомендую вам прочитать эту старую, но все еще действующую статью: https://www.elastic.co/blog/found-elasticsearch-as-nosql Имейте в виду, Elasticsearch является только поисковой системой. Но это зависит от того, являются ли ваши данные критическими или вы можете согласиться потерять некоторые из них, например, некритические журналы. Если вы не хотите использовать дополнительную базу данных с огромными большими данными, вы, вероятно, можете хранить их в файлах в формате HDFS.
Вы также должны проверить Phoenix https://phoenix.apache.org/ который может предоставить функции мониторинга, которые вы ищете