Hadoop Key-Value store с удаленным развертыванием
Мое приложение запускается с удаленного компьютера через spark-submit в режиме кластера пряжи с таблицей ключей Kerberos и принципалами в этом руководстве: https://spark.apache.org/docs/latest/running-on-yarn.html. Преимущества этого подхода в том, что у меня есть своя версия искры в любом кластере.
Можно ли автоматически развернуть Ignite/Hazelcast/Accumulo/Kudu или другую базу данных NoSQL с произвольным доступом при чтении / записи в кластер Hadoop YARN без sftp/ssh только путем запуска bash-скрипта с конфигами HADOOP_CONF_DIR/YARN_CONF_DIR?
1 ответ
Развертывание Hazelcast в кластере YARN возможно и просто, посмотрите на https://github.com/hazelcast/hazelcast-yarn