Эластичный поиск на AWS Fargate

Question

Столкновение с проблемой при развертывании эластичного поиска на AWS Fargate

Были сделаны следующие шаги:

настроил мой образ докера и отправил на AWS ECR. определение задачи для моего сервиса asticsearch

Служба упругого поиска завершается неудачно при начальной загрузке. Исключением является[3]: максимальные области виртуальной памяти vm.max_map_count [65530] слишком малы, увеличиваются по крайней мере до [262144]

его известная проблема es для es 5.0 и выше. Решение, предоставляемое es, выглядит следующим образом: sysctl -w vm.max_map_count = 262144

https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html

Можно ли применить эту команду на AWS Fargate, поскольку у нас нет доступа к хосту?

Обновление: Elastic Search предоставил возможность избежать проверки mmaps при загрузке, но пока не выпущен

https://github.com/elastic/elasticsearch/pull/32421

https://discuss.elastic.co/t/elk-on-aws-fargate/153967/4

Answer 1

Похоже, вы не можете этого сделать.

Позволь мне объяснить:

Docker фактически оборачивает процесс и запускает его, используя ядро, установленное на хост- машине.

Изменение "vm.max_map_count" фактически настраивает ядро ​​Linux хост-машины.

Когда хост-компьютер находится под вашим контролем, например, когда вы используете EC2, вы можете сконфигурировать ядро ​​хост-машины, применив "пользовательские данные" в вашей Конфигурации запуска. (См.: https://docs.aws.amazon.com/AmazonECS/latest/developerguide/bootstrap_container_instance.html).

Но если хост-машина не находится под вашим контролем, как в случае с Fargate, вы не можете изменить хост и настройки ядра, на которых он работает. Вся идея Fargate состоит в том, чтобы запускать образы Docker без состояния, изображения, которые не делают никаких предположений о хосте, на котором они работают.

Однако в Elasticsearch само приложение зависит от отдельной конфигурации хоста (параметр "vm.max_map_count"), что означает, что оно действительно делает предположения о своем хосте, и поэтому оно не может работать на универсальном хосте, таком как Fargate (если вы не отключите эту проверку, что не очень хорошая идея для производственной среды.)