Экземпляры Ec2 для AWS ElasticSearch с хорошей производительностью записи и хранением
Я использую AWS Elasticsearch и нуждаюсь в совете о том, какие типы экземпляров выбрать для моего кластера и сколько шардов использовать. Мой пример использования следующий: моя система выдает максимум 150 000 000 записей в день (например, = 1736 записей в секунду, каждая запись составляет ~900 байт, = 1,5 МБ в секунду). Моя система будет публиковать записи в ES в пакетном режиме по 5 МБ (так как 5000/1500 = 3,3 секунды, каждые 3,3 секунды будет отправляться пакетный запрос в ES с ~6000 записей в каждой).
Количество раз, когда эти данные будут считываться из ES в Кибане, относительно невелико (например, может быть, 2-3 раза в день). Поэтому для меня наиболее важной частью является выбор экземпляров EC2 для моих узлов, которые имеют много памяти и могут выполнять много операций записи.
Мне нужно выяснить, сколько экземпляров мне нужно, и какой тип экземпляра будет соответствовать моим потребностям? Также мне нужно понять, сколько шардов мне нужно при создании индекса
Я запускаю нагрузочный тест для количества данных, которые я описал ниже, имея всего 3 m4.large.elasticsearch
В некоторых случаях мой кластер стал КРАСНЫМ очень быстро. Пожалуйста, помогите мне настроить мой кластер / индекс AWS ElasticSearch. Ценю любой совет