Каков наилучший вариант для Amazon AWS для параллельного запуска кода R, который был разработан для менеджера Slurm?
В настоящее время у меня есть R-код, который можно запустить через менеджер Slurm с помощью shell и batch-скрипта. По сути, мой сценарий оболочки создает 1000 массивов заданий, которые затем вызывают пакетный сценарий 1000 раз.
Мне интересно, как я могу использовать эту настройку и какой может быть наиболее эффективный способ перенести ее в Amazon AWS. Если нет, то каков наиболее эффективный способ в Amazon AWS запускать R-скрипт несколько раз и использовать как можно больше ядер? Является ли сервер RStudio хорошим вариантом?
Любые предложения будут ценны. Спасибо!
1 ответ
StarCluster может быть хорошим выбором:
StarCluster - это набор инструментов для кластерных вычислений с открытым исходным кодом для Amazon Elastic Compute Cloud (EC2)
Это часть программы STAR в Массачусетском технологическом институте, целью которой является преодоление разрыва между научными исследованиями и классной комнатой.
Вы можете легко развернуть кластер любого размера и состоять из экземпляров по вашему выбору. NFS, MPI и менеджер ресурсов OpenGrid будут работать "из коробки". Вы также можете установить SLURM в кластере. С помощью одной команды вы можете загрузить или отключить кластер.
Простые команды для создания и управления кластерами:
* Создание и управление кластерами *
StarCluster позволяет легко создавать один или несколько кластеров виртуальных машин в облаке:
$ starcluster start -s 10 mycluster
Используйте команду listclusters для отслеживания ваших кластеров:
$ starcluster listclusters
Войдите в мастер-узел вашего кластера:
$ starcluster sshmaster mycluster
Добавьте дополнительные узлы в ваш кластер для большей вычислительной мощности:
$ starcluster addnode mycluster
Удалите свободные узлы из вашего кластера, чтобы минимизировать затраты:
$ starcluster removenode mycluster node003
Когда вы закончили использовать кластер и хотите прекратить платить за него:
$ starcluster завершает работу mycluster