Описание тега starcluster
Набор инструментов для кластерных вычислений с открытым исходным кодом для Amazon Elastic Compute Cloud (EC2).
1
ответ
Starcluster поставить - синхронизировать?
Я использую команду starcluster для перемещения файлов в мой кластер AWS. Проблема в том, что если я добавляю файлы в каталог, а затем хочу загрузить его, мне нужно либо создать список этих файлов, либо заново скопировать все. Я хотел бы, чтобы что-…
12 окт '13 в 16:46
1
ответ
Конфигурация AWS-Starcluster не может распознать регион
У меня есть конфигурационный файл StarCluster, который выглядит следующим образом: #################################### ## StarCluster Configuration File ## #################################### [global] DEFAULT_TEMPLATE=smallcluster ################…
06 фев '17 в 09:32
2
ответа
Как я могу определить, находится ли экземпляр EC2 внутри моего VPC?
На моем клиенте запущено много экземпляров EC2 и работает VPC (виртуальное частное облако). Я использую платформу под названием Starcluster для запуска узлов, и мне нужно знать, находятся ли они в VPC или просто в обычных узлах EC2. Как я могу это с…
18 янв '14 в 22:24
0
ответов
Сохранить состояние системы Amazon Ubuntu EC2 и восстановить из нового экземпляра?
Я использую разные версии экономической модели (в C++) на Amazon EC2*, которые занимают от 30 минут. и три недели, чтобы бежать. Я хочу перейти к точечным случаям, чтобы сэкономить деньги. Есть ли способ периодически сохранять состояние системы в фа…
15 окт '14 в 15:53
1
ответ
MIT StarCluster и S3
Я пытаюсь запустить задание mapreduce на точечных экземплярах. Я запускаю свои экземпляры с помощью StarClusters и его плагина hadoop. У меня нет проблем загрузить данные, затем поместить их в HDFS, а затем скопировать результат обратно из HDFS. У м…
02 май '15 в 00:40
0
ответов
Starcluster, как выполнить конкретную задачу на отдельном узле
Работа над приложением Python, которое обрабатывает высокие статистические данные и выполняет длительные сложные вычисления. Когда пользователь запрашивает асинхронный поток, он создает и начинает вычисления и сохраняет результаты в базе данных с ра…
01 апр '15 в 13:20
1
ответ
Как заставить StarCluster AMI работать с IPython 0.13?
Я попытался обновить IPython на двух разных AMI StarCluster (их 64-разрядная версия Ubuntu 11.10 по умолчанию и образ QIIME 1.5). В любом случае, когда я запускаю свой кластер, сценарий инициализации зависает в "Ожидание файла коннектора JSON...". Я…
20 июл '12 в 11:08
0
ответов
Есть ли еще эквивалент Starcluster для Google Compute Engine (GCE)?
Кто-нибудь знает, есть ли Starcluster эквивалент для GCE? Я был очень рад использовать Starcluster с EC2 для смущающе параллельных заданий. Теперь я хочу попробовать GCE. Я был бы рад внести свой вклад в любые проекты, которые могут быть в работе, н…
09 июн '13 в 05:49
1
ответ
Компиляция программы на С ++ в ошибке starcluster
Я новичок в программном обеспечении Starcluster и сейчас пытаюсь скомпилировать свою первую сложную программу в кластере из 3 узлов. Я следовал инструкциям по созданию кластера, поместил файлы в папку sgeadmin и попытался скомпилировать. Появляется …
27 авг '17 в 17:31
1
ответ
Импортировать код с локального на все удаленные механизмы
Я работаю над распараллеливанием поиска по сетке sklearn, используя три параметра, но у меня возникают проблемы с рефакторингом проекта для работы с ipython.parallel. Мой нынешний подход к мысли заключался в создании простой функции, которая: Приним…
03 мар '14 в 22:07
2
ответа
Как динамически масштабировать StarCluster/qsub/EC2 для запуска параллельных заданий на нескольких узлах
Я новичок в использовании Startcluster/qsub/grid engine для запуска параллельных заданий, и я попытался прочитать пару других постов, касающихся того же самого. Я до сих пор не уверен, как построить масштабируемое решение для моих конкретных требова…
11 мар '13 в 08:52
1
ответ
Использование экземпляров распределенных вычислений с параллельным плагином Icthon Starcluster
Я использую звездный кластер с плагином Ipython. Когда я запускаю кластеризацию Kmeans из ноутбука Ipython с режимом балансировки нагрузки. Это всегда мастер со 100% использованием процессора постоянно. И другие экземпляры EC2 никогда не принимают н…
23 апр '15 в 20:08
3
ответа
Обеспечение одного задания на узел в StarCluster / SunGridEngine (SGE)
Когда qsubРаботая с кластером StarCluster / SGE, существует ли простой способ гарантировать, что каждый узел получает не более одной работы за раз? У меня возникают проблемы, когда несколько заданий оказываются на одном узле, что приводит к проблема…
04 сен '14 в 18:43
1
ответ
Мониторинг производительности StarCluster / Sun Grid Engine
Я немного новичок в использовании StarCluster и SGE. Мне было интересно, как лучше всего отслеживать "производительность кластера", то есть определять, какую часть определенной работы кластер может выполнить в какой-то момент времени. Я знаком с ком…
28 авг '14 в 22:29
2
ответа
Использование снега (и снегопада) с AWS для параллельной обработки в R
Что касается моего ранее подобного вопроса SO, я попытался использовать снег / снегопад на AWS для параллельных вычислений. То, что я сделал, было: в sfInit() функция, я предоставил публичный DNS для socketHosts параметр вроде так sfInit(parallel=TR…
07 сен '11 в 12:20
1
ответ
EC2 звездный кластер перестал работать
Перестал работать Starcluster на EC2 Ubuntu. Я не знаю о каких-либо преднамеренных изменениях конфигурации или о чем-либо еще и не могу найти много помощи. Подскажите, пожалуйста, есть ли у кого-нибудь предложения? запуск, завершение или даже перечи…
06 сен '13 в 18:16
2
ответа
Разрешения IAM, необходимые для StarCluster
Я следую инструкциям по настройке StarCluster и хочу создать нового пользователя для использования StarCluster. Мой вопрос: какой минимальный набор разрешений IAM требуется StarCluster для работы? Это AmazonEC2FullAccess политика требуется (как указ…
28 апр '15 в 15:22
0
ответов
Сообщение об ошибке IOError в записной книжке IPython при использовании StarCluster
Я использую небольшой StarCluster и использую его для запуска IPython Notebook. Каждый раз, когда у меня появляется ошибка в коде, который я пишу в записной книжке, в конце вывода записной книжки добавляется следующее сообщение об ошибке: Traceback …
15 мар '14 в 21:31
1
ответ
Как запустить StarCluster с ролью AWS IAM
Как я могу изменить конфигурацию или код StarCluster для включения роли IAM? Так что, когда я делаю это: starcluster start mycluster Роль IAM может быть автоматически активирована в экземплярах EC2 (мастер и узлы). Я попытался осмотреться, но безрез…
06 фев '17 в 14:03
1
ответ
Как использовать IPython 2.3.1 с использованием StarCluster вместо 0.13.1?
Кажется, StarCluster по умолчанию использует IPython 0.13.1. Есть ли способ обновить это до IPython 2.3.1? Это можно сделать через файл конфигурации? Или вручную после запуска кластера? Вот мой конфиг, с незначительными изменениями безопасности: [gl…
20 янв '15 в 02:52