Описание тега distributed-computing
None Использование более одного компьютера, подключенного друг к другу с помощью канала связи, для выполнения общей задачи.
3
ответа
Могу ли я использовать функции, импортированные из файлов.py в Dask/Distributed?
У меня есть вопрос о сериализации и импорте. должны ли функции иметь свой собственный импорт? как я видел, сделал с PySpark Это просто неправильно? Есть ли mod.py должен быть пакет conda/pip? mod.py был записан в общую файловую систему. In [1]: from…
02 сен '16 в 14:46
2
ответа
Подходит ли Zookeeper для этого сценария?
Вот мое требование. У меня в кластере куча машин (скажем, около 4 - A,B,C,D). Работа А заключается в опросе базы данных на предмет обновлений (поэтому А может искать новые заказы в таблице заказов). Как только A получает обновление, оно проверяет, к…
16 дек '11 в 08:14
1
ответ
Как Zeppelin интегрирован, чтобы зажечь?
Я очень плохо знаком с распределенной обработкой данных и хотел бы понять, как Zeppelin взаимодействует с искровым кластером? Хотите знать, как zeppelin может извлекать фреймы данных, сгенерированные в предыдущих абзацах, а затем использовать их в т…
08 сен '17 в 20:30
1
ответ
Как отправить вложенную структуру, используя MPI_Datatype в MPI, используя C
Я пытаюсь использовать MPI_Datatype для отправки приведенной ниже структуры, но MPI_Send падает при отправке структуры. Мне интересно, как справиться с этой ситуацией. Вот код, который я написал, чтобы определить новый тип данных MPI: typedef struct…
11 май '11 в 19:56
2
ответа
Загрузка модулей Python через вычислительный кластер
У меня есть учетная запись в вычислительном кластере, который использует Scientific Linux. Конечно, у меня есть только пользовательский доступ. Я работаю с Python, и мне нужно запускать скрипты Python, поэтому мне нужно импортировать некоторые модул…
25 мар '14 в 16:01
2
ответа
Планировщик заданий Java с открытым исходным кодом: удаленное взаимодействие, распределение нагрузки, отработка отказа, зависимость DAG?
Я ищу Java Job Scheduler с открытым исходным кодом, который позволяет отправлять различные виды работ (не только с флопом) и распределяет их по многим машинам. Он также должен отслеживать задания и повторять попытки на разных узлах в случае сбоя люб…
17 май '13 в 07:23
2
ответа
Приложение Spark использует только 1 исполнителя
Я запускаю приложение со следующим кодом. Я не понимаю, почему используется только 1 исполнитель, хотя у меня есть 3. Когда я пытаюсь увеличить диапазон, моя работа не выполняется, потому что диспетчер задач теряет исполнителя. В итоге я вижу значен…
20 сен '16 в 21:02
1
ответ
Как динамически добавлять новых пользователей в кластер мезо?
У меня есть кластер мезо с мастером и 6 агентами. Я включил аутентификацию для пользователей и передал учетные данные пользователей с их ролями при запуске mesos-master. Теперь я хотел динамически добавлять новых пользователей в мастер. Как я могу с…
25 янв '17 в 18:46
0
ответов
Распределенные вычисления для классификатора SVM
Я пытаюсь реализовать классификацию SVM с помощью программирования R. Я делю свой фрейм данных на обучающий набор и тестовый набор, поэтому я хочу разделить обучающий набор на n разделов и отправить каждый раздел на один узел для изучения (каждый из…
08 сен '18 в 08:38
1
ответ
App Fabric способен кешировать файлы или только запросы к базе данных?
У меня есть функция, которая находится на каждом из наших узлов. Функция требует доступа к пути к папке для доступа к файлам (не к базе данных). В настоящее время я синхронизирую папки на каждом из узлов, чтобы избежать доступа к одному общему диску…
04 окт '11 в 15:39
0
ответов
Как передать несколько данных в кафку производителя?
Необходимо передать несколько данных (объект) вместе с данными файла, Есть ли сериализатор для передачи объекта или какие-либо пути? Вот код, который просто передает данные файла, props.put("bootstrap.servers", "localhost:9092"); props.put("metadata…
20 окт '16 в 05:18
0
ответов
Распределенные функции HTML5 и то, что включает в себя "распределенную технологию"
Я думаю, что меня больше смущает сам вопрос, Каковы распределенные особенности HTML5? Это относится ко всем новым функциям в целом, таким как: SVG геолокации LocalStorage и так далее Или я что-то здесь упускаю? Что подводит меня к следующему вопросу…
20 фев '12 в 12:36
0
ответов
WebUI для распределенного тензорного потока?
Ранее я использовал Spark и был очень хорошо знаком с Spark WebUI (localhost:8080). Я смог проверить, подключен ли работник к мастеру, сколько рабочих подключено? Количество оперативной памяти, используемой в каждом работнике и так далее. Tensorflow…
29 авг '16 в 17:34
2
ответа
Поддерживает ли Apache Helix разделение и объединение разделов?
Я понимаю, что Apache Helix позволяет динамическое расширение / сжатие кластера (например, добавление / отказ / удаление физических узлов). Однако в случае, если один физический узел не может обработать одну реплику раздела, мне нужно разделить разд…
05 дек '16 в 19:21
0
ответов
Распределенные распределения тензорного потока
У меня есть два смежных вопроса об управлении распределенным обучением для эксперимента с двумя машинами, на каждой из которых установлено несколько графических процессоров. Следуя рекомендациям по распределенному началу тензорного потока, я вижу, ч…
12 май '16 в 04:08
1
ответ
Обработка задания Laravel/Redis с нескольких серверов
На Laravel мы создаем приложение для составления отчетов, которое должно извлекать данные пользователей со стороннего сервера, которые разрешают 1 запрос в секунду. Нам нужно выбрать от 100 до 1000 тысяч строк в зависимости от пользователя, и мы мож…
22 ноя '17 в 16:58
4
ответа
Платформа C/C++ для распределенных вычислений (MPI?)
Я изучаю, существует ли инфраструктура / библиотека, которая поможет мне реализовать распределенную вычислительную систему. У меня есть мастер, который имеет большой объем данных, разбитых на файлы размером в несколько сотен мегабайт. Файлы будут ра…
25 июл '11 в 11:43
1
ответ
Как вычесть в парадигме Map Reduce
У меня есть следующий набор данных s1, s2, count 1, 2, x1 1, 3, x2 1, 4, x3 2, 1, y1 2, 3, y2 2, 4, y3 3, 1, z1 3, 2, z2 Я хочу получить следующий вывод s1, s2, count 1, 2, x1-y1 1, 3, x2-z1 1, 4, x3 2, 3, y2-z2 2, 4, y3 Идея состоит в том, что s1 я…
25 окт '17 в 15:40
1
ответ
Скрипт, который бойкотирует Condor на моей машине, не имея привилегий root
Я работаю в исследовательском учреждении. Система поддерживается компьютерными парнями, которые делают отличную работу. Все компьютеры подключены, и вы можете получить доступ к своему дому с любого терминала. Система использует Condor для распределе…
15 дек '16 в 01:03
2
ответа
Предоставляет ли Cassandra согласованность чтения после записи для одного узла?
На одном узле Кассандра, если я выполняю write(key=A, value=3) write(key=A, value=5) a_value = read(key=A) было бы a_value быть 3 или 5? Или, другими словами, Кассандра гарантирует согласованность чтения после записи, где мы всегда видим самые после…
26 май '18 в 13:59