Описание тега gnu-parallel
GNU parallel is a shell tool for executing jobs in parallel using one or more computers.
1
ответ
PBS: GNU параллельно: хосты различаются, работа с несколькими ЦП, работа с несколькими хостами
С PBSpro я могу запросить ресурсы для запуска моей работы. Моя работа в параллельном кластере сводится к запуску одного и того же файла несколько раз, каждый раз с другим идентификатором индекса / задания. Каждая задача порождает свои собственные по…
11 май '18 в 10:08
1
ответ
Переменные аргументы Python не принимаются GNU Parallel
У меня есть код Python, который запускает симуляцию для меня, и мне нужно запустить этот код для ряда различных параметров (строка, целое число и другое строковое целое число). Моя проблема в том, что когда я пытаюсь распараллелить это с GNU-паралле…
29 мар '18 в 03:48
1
ответ
Вызов GNU параллельно из GNU параллельно
Как правильно вкладывать звонки в GNU parallel? Глупый пример: seq 1 100 | parallel echo {} | parallel seq {} 1000 Насколько я понимаю, на коробке с 8 процессорами каждая параллель будет запускать 8 заданий, всего 64 задания. Если вы называете что-т…
01 май '14 в 15:48
2
ответа
Параллельная проверка файла md5
У меня есть файл md5sum, содержащий много строк. Я хочу использовать GNU параллельно для ускорения процесса проверки md5sum. В md5sum, когда файл не вводится, он берет строку md5 из stdin. Я попробовал это: cat checksums.md5 | parallel md5sum -c {} …
04 дек '15 в 06:37
0
ответов
Ошибка параллельного возврата GNU параллельных опций
Я пытаюсь понять, как использовать GNU параллельно, в частности, следующие echo "dir/*" | parallel "./run_script" но он возвращает следующие ошибки parallel: Error: -g has been retired. Use --group. parallel: Error: -B has been retired. Use --bf. pa…
24 ноя '17 в 20:46
1
ответ
GNU параллельно обрабатывает несколько файлов в разных экземплярах
Я хочу обработать много файлов на многих экземплярах базы данных. Экземпляры находятся на разных компьютерах, один компьютер может содержать до 4 экземпляров. Процесс запускается на экземпляре через оболочку bash: process-on.sh <file_to_process&g…
21 мар '16 в 12:47
2
ответа
Параллельный шаблон grep несколько файлов
Я успешно ищу с помощью этой команды: поиск списка подозрительных IP-адресов из текстового файла ips.txt в каталоге журналов (сжатые файлы). root@yop# find /mylogs/ -exec zgrep -i -f ips.txt {} \; > ips.result.txt Я хочу теперь использовать парал…
25 фев '14 в 11:06
1
ответ
GNU Параллельный запуск Make-файлов с разными уровнями оптимизации
Существует не оптимальный уровень -O. Мой подход для того, чтобы найти самое быстрое выполнение для моего конкретного кода, состоит в том, чтобы скомпилировать тот же код с обычными уровнями оптимизации (то есть -O0, -Ofast, -O1, -O2, -O3,-march=nat…
31 июл '15 в 20:24
1
ответ
Создание темы OpenMP
В приведенном ниже коде будет ли среда выполнения OpenMP повторно создавать потоки или повторно использовать созданные ранее потоки - то есть использовать пул потоков? Некоторые коллеги утверждали, что это создаст потоки заново, потому что предложен…
24 июл '17 в 19:17
1
ответ
gnu параллельно --pipe создает пустые выходные файлы
Я изо всех сил пытаюсь запустить GNU параллельно. У меня есть сценарий оболочки, который вызывает программу Python несколько тысяч раз с различными входными параметрами: python /path/to/program/run.py A_02_01 input.fasta > /path/to/output/out.txt…
03 авг '18 в 20:29
1
ответ
Параллельное GNU и управление ресурсами
Я хотел бы использовать параллельную командную строку gnu, чтобы в основном действовать как простой механизм планирования. в моем случае у меня есть N графических процессоров в системе, и я хотел бы эффективно поставить в очередь список заданий на э…
13 июл '18 в 23:55
1
ответ
Простой Makefile для автоматизации параллельного grep возвращает ошибку
Я часто использую Makefiles для автоматизации задач, которые выполняю неоднократно. Например, одна задача включает поиск растущего набора данных для совпадений регулярных выражений. Предположим, у меня есть следующие два текстовых файла, search1.txt…
30 авг '16 в 20:03
1
ответ
GNU Parallel: как начать строку замены номера задания с нуля
Я очень доволен скоростью параллельного использования GNU с разбиением файлов экспорта базы данных CSV с несколькими ГБ в управляемые куски. Однако проблема в том, что имена выходных файлов должны быть в формате some_table.csv.part_0000.csv и начать…
18 май '16 в 22:41
2
ответа
Есть ли способ выполнить одно задание много раз, используя GNU параллельно?
Я вижу, как легко запустить параллельное задание с несколькими входами, но нет ли другого способа запустить одно и то же задание параллельно несколько раз, поместив команду в файл и повторив ее много раз? parallel -j+0 ::: './dosomejob.sh' но скажит…
09 июл '18 в 13:24
2
ответа
Параллельная обработка скрипта Python
У меня есть скрипт Python, который принимает один вход за раз и обрабатывает его. Я хочу запустить скрипт параллельно с разными входами одновременно. Как 50 или 100 раз, но с разными входными данными из текстового файла. я выполняю скрипт как: pytho…
04 сен '18 в 14:38
1
ответ
Параллельная GNU: совместное использование --pipe и args
С помощью --pipe -N<int> Я могу отправить определенное количество строк в качестве ввода задания, начатого parallel, Но как мне выполнить несколько заданий с разными аргументами ::: на каждом куске? Давайте возьмем этот маленький входной файл:…
02 авг '18 в 04:23
1
ответ
CasperJS и параллельное сканирование
Я пытаюсь просканировать какой-нибудь сайт. Однако мой процесс сканирования настолько длинный, что мне нужно использовать несколько экземпляров, чтобы сократить его. Я искал другие способы и прервал все запрошенные ненужные ресурсы, но это слишком м…
04 дек '16 в 00:09
1
ответ
Как избежать скобки в GNU-параллели
У меня есть сценарий Python, который я хочу вызвать с помощью GNU-параллельного таким образом: parallel run_script.py --outfile=/path/to/somewhere/{}/{}.nc --shift={} ::: 1 2 3 Как я могу избежать первой фигурной скобки в [--outfile], которая будет …
01 мар '17 в 13:10
1
ответ
Параллельная установка GNU в командной строке Unix
У меня есть программа переменного тока, которая принимает ввод через стандартный ввод main(argc) или ввод через вызов scanf(). Он настроен так, что если нет подходящего стандартного ввода, он использует вызовы scanf() для запроса ввода. Я пытаюсь ис…
18 сен '13 в 21:49
5
ответов
Проверьте, существует ли удаленный файл в bash
Я загружаю файлы с помощью этого скрипта: parallel --progress -j16 -a ./temp/img-url.txt 'wget -nc -q -P ./images/ {}; wget -nc -q -P ./images/ {.}_{001..005}.jpg' Можно ли было не загружать файлы, просто отметьте их на удаленной стороне и, если сущ…
04 фев '18 в 13:08