Инструменты для настройки и запуска сетки в Google Compute Engine?
Мне нужно настроить и запускать "неловко" параллельные задания в Google Compute Engine. Я ищу инструменты для облегчения этого.
На EC2 я использовал Starcluster MIT для настройки кластера, а затем просто отправлял задание в SGE.
Есть ли похожие инструменты для Google Compute Engine?
Если нет, то я, вероятно, вручную настрою кластер Condor для выполнения этой работы. Базз убить.
3 ответа
Я ничего не нашел там. Текущий путь Starcluster к поддержке GCE заключается в ожидании официальной поддержки boto для GCE. Это все может занять некоторое время, поэтому я просто написал код на Python для запуска и завершения базового кластера.
Я поделился этим здесь, на github.
Я надеюсь, что кто-то еще найдет это полезным, по крайней мере, в качестве примера кода.
Elasticluster имеет поддержку Google Compute Engine. Он очень похож на Starcluster и работает на AWS, используя boto, GCE, Openstack. https://github.com/gc3-uzh-ch/elasticluster
Starcluster действительно круто. К сожалению, GCE не поддерживается, и на данный момент я знаком с любыми подобными системами.
Хотелось бы, чтобы это произошло, но если у вас что-то получится, поделитесь!