Описание тега embarrassingly-parallel
An embarrassingly parallel problem is one for which little or no effort is required to separate the problem into a number of parallel tasks. This is often the case where there exists no dependency (or communication) between those parallel tasks.
2
ответа
Как я могу масштабировать смущающие параллельные задания на нескольких компьютерах в.Net?
У меня смущающая параллельная проблема, которую я хочу масштабировать на нескольких компьютерах с использованием.Net. В настоящее время я использую Task Parallel Library для масштабирования между несколькими ядрами на одном компьютере, но я хочу мас…
17 мар '14 в 20:20
5
ответов
Решение смущающе параллельных проблем с помощью многопроцессорной обработки Python
Как можно использовать многопроцессорность для решения смущающе параллельных проблем? Смущающие параллельные проблемы обычно состоят из трех основных частей: Чтение входных данных (из файла, базы данных, TCP-соединения и т. Д.). Выполните вычисления…
01 мар '10 в 21:38
0
ответов
Как генерировать различный набор случайных чисел в каждой итерации распараллеленного цикла For?
Следующая проблема возникла непосредственно из-за применения ответа на этот вопрос. В минимальном рабочем примере (MWE) есть место в myscript определение, где я генерирую некоторые случайные числа, затем выполняю некоторые операции с ними и, наконец…
16 авг '15 в 12:27
0
ответов
Есть ли еще эквивалент Starcluster для Google Compute Engine (GCE)?
Кто-нибудь знает, есть ли Starcluster эквивалент для GCE? Я был очень рад использовать Starcluster с EC2 для смущающе параллельных заданий. Теперь я хочу попробовать GCE. Я был бы рад внести свой вклад в любые проекты, которые могут быть в работе, н…
09 июн '13 в 05:49
1
ответ
Matlab dfeval накладные расходы
У меня смущающая параллельная работа, которая не требует общения между рабочими. Я пытаюсь использовать функцию dfeval, но накладные расходы кажутся огромными. Для начала я пытаюсь запустить пример из документации. >> matlabpool open Starting …
03 авг '11 в 01:48
2
ответа
Ветвление opencl против избыточности памяти
Я обрабатываю элементы в сетке, в зависимости от типа элемента должен выполняться другой тип вычисления / функции. Но я читал, что ветвление - очень плохая вещь, когда рабочие элементы делают одно и то же. Чтобы обойти это, я мог бы разделить сетку …
06 ноя '13 в 14:41
1
ответ
Python - почему этот код занимает так много времени?
Моя забота - это часть между двумя хэш-строками. Следующий код выполняется слишком долго, чтобы я мог дождаться его вывода. Когда я заменяю проблемную часть другим фрагментом кода, программа запускается через несколько секунд (см. Конец этого поста)…
30 мар '16 в 12:24
1
ответ
Многопроцессорность - чтение больших входных данных - зависание программы
Я хочу запустить параллельные вычисления для некоторых входных данных, которые загружаются из файла. (Файл может быть очень большим, поэтому я использую генератор для этого.) На определенном количестве элементов мой код работает нормально, но выше э…
13 дек '13 в 19:50
1
ответ
OpenMP с матрицами и векторами
Как лучше всего использовать OpenMP с матрично-векторным продуктом? Будет ли директива for достаточной (если так, где я должен ее разместить? Я предполагаю, что внешний цикл будет более эффективным), или мне понадобится расписание и т. Д.? Кроме тог…
27 мар '12 в 06:58
1
ответ
Как распараллелить этот кусок кода?
Я просматривал в течение некоторого времени, но не мог найти никакого конструктивного ответа, который я мог бы понять. Как я должен паралеллизировать следующий код: import random import math import numpy as np import sys import multiprocessing boot …
13 авг '15 в 00:39
2
ответа
Ожидаемое ускорение от смущающей параллельной задачи с использованием многопроцессорной обработки Python
Я учусь использовать пакет многопроцессорной обработки Python для смущающих параллельных задач, поэтому я написал последовательные и параллельные версии для определения числа простых чисел, меньшего или равного натуральному числу n. На основании тог…
24 окт '14 в 20:26
1
ответ
SLURM смущающее параллельное представление, требующее слишком много ресурсов
Поэтому у меня есть следующий скрипт представления: #!/bin/bash # #SBATCH --job-name=P6 #SBATCH --output=P6.txt #SBATCH --partition=workq #SBATCH --ntasks=512 #SBATCH --time=18:00:00 #SBATCH --mem-per-cpu=2500 #SBATCH --cpus-per-task=1 #SBATCH --arr…
28 авг '18 в 17:06
3
ответа
Неловко параллельный рабочий процесс создает слишком много выходных файлов
На кластере Linux бегаю много (N > 10^6) независимые вычисления. Каждое вычисление занимает всего несколько минут, а результат - несколько строк. когда N было мало, я мог хранить каждый результат в отдельном файле для последующего анализа. С боль…
28 ноя '12 в 15:40
1
ответ
Низкая производительность для смущающе параллельного кода
У меня есть этот очень простой параллельный код, который я использую для изучения openmp, который смущающе параллелен. Тем не менее, я не получаю суперлинейного или, по крайней мере, линейного увеличения производительности. #pragma omp parallel num_…
17 мар '15 в 13:57
3
ответа
Инструменты для настройки и запуска сетки в Google Compute Engine?
Мне нужно настроить и запускать "неловко" параллельные задания в Google Compute Engine. Я ищу инструменты для облегчения этого. На EC2 я использовал Starcluster MIT для настройки кластера, а затем просто отправлял задание в SGE. Есть ли похожие инст…
20 июн '13 в 18:43
4
ответа
Распараллелить панды применяются
Я новичок в пандах, я уже хочу распараллелить операцию применения по строкам. До сих пор я обнаружил, что Parallelize применяется после pandas groupby. Однако это работает только для сгруппированных фреймов данных. У меня другой случай использования…
02 сен '16 в 05:37
3
ответа
Каков наилучший способ избежать перегрузки параллельной файловой системы при выполнении смущающе параллельных заданий?
У нас есть проблема, которая смущающе параллельна - мы запускаем большое количество экземпляров одной программы с различным набором данных для каждого; мы делаем это просто, отправляя приложение много раз в очередь пакетов с разными параметрами кажд…
11 апр '11 в 19:54
4
ответа
"смущающе параллельное" программирование с использованием Python и PBS в кластере
У меня есть функция (модель нейронной сети), которая производит цифры. Я хочу протестировать несколько параметров, методов и различные входные данные (то есть сотни прогонов функции) из python с использованием PBS на стандартном кластере с Torque. П…
22 июл '10 в 10:43
1
ответ
"Максимальное количество рабочих мест для запуска" не равно количеству заданий, указанных при использовании GNU Parallel на удаленном сервере?
Я пытаюсь запустить много небольших последовательных заданий с помощью GNU Parallel в кластере PBS, каждый вычислительный узел имеет 16 ядер, так как я намеревался использовать несколько вычислительных узлов, поэтому я передал опцию -S $SERVERNAME в…
21 окт '16 в 02:19
0
ответов
Параллельно работает для цикла через Python
У меня есть процесс, который перебирает список IP-адресов и возвращает некоторую информацию о них. Простой цикл for отлично работает, моя проблема - запустить его в масштабе из-за блокировки глобального интерпретатора Python (GIL). Моя цель - запуст…
04 ноя '17 в 01:51