Описание тега parallel-io
Если у вас есть два или более независимых устройства ввода-вывода и вы хотите максимизировать пропускную способность ввода-вывода для одной задачи (обычно это длительное задание). Относится к параллельной обработке, но для использования ввода-вывода, а не использования процессора. Общими методами являются обеспечение отдельных физических дисков, кольцевых буферов, отдельных потоков чтения и записи и асинхронного ввода-вывода.
0
ответов
Непоследовательные аргументы в пользу коллективной рутины
У меня есть 4 процесса MPI, каждый процесс будет записывать несколько последовательных массивов NumPy.. В фрагменте кода ниже; data_per_rank - это двумерный массив numpy, и каждый процесс mpi должен разбивать его на внутренние поднаборы inner_splits…
04 дек '18 в 10:51
7
ответов
Быстрое клонирование дисков
Есть ли способ, чтобы Linux читал вперед при клонировании диска? Я использую программу с именем "dd" для клонирования дисков. В последний раз, когда я делал это, казалось, что ОС читает, а затем пишет, но никогда в одно и то же время. В идеале, целе…
10 сен '08 в 16:39
2
ответа
Как Spark выполняет ввод / вывод?
Насколько я понимаю, Spark использует параллельный ввод-вывод для чтения файлов. Этот вывод приходит из других ответов переполнения стека. Мой вопрос заключается в том, позволяет ли спарк читать данные, используя независимый подход или коллективный …
30 окт '18 в 17:26
0
ответов
Создание отдельных наборов данных для процесса в общем файле HDF5
Я пытаюсь записать в один файл с несколькими процессами. В общем, все процессы будут записываться в один и тот же набор данных. Документация HDF5 дает очень хорошие примеры того, как это сделать (например, в руководстве здесь). Я хотел бы принять во…
08 ноя '18 в 15:59
1
ответ
Параллельная запись в разные группы с помощью h5py
Я пытаюсь использовать параллельный h5py, чтобы создать независимую группу для каждого процесса и заполнить каждую группу некоторыми данными. В результате получается, что только одна группа создается и заполняется данными. Это программа: from mpi4py…
05 июл '18 в 16:08
1
ответ
Запишите огромные массивы в один файл, используя MPI-IO с указателем общего файла
Я пытаюсь записать несколько длинных распределенных массивов в один файл, используя MPI-I/O (реализация OpenMPI) с указателем общего файла. Я получаю следующие сообщения об ошибках lseek: неверный аргумент НАПИСАТЬ ОТКАЗ Я подготовил упрощенный фраг…
23 окт '18 в 09:21
0
ответов
Как записать большое количество изображений.jpg, .png и т. Д. В один файл?
Я пытаюсь оптимизировать конвейеры компьютерного зрения с глубоким обучением для архитектур HPC, которые имеют высокопроизводительный параллельный ввод-вывод. Хранение большого количества файлов в одном каталоге является анти-паттерном в таких систе…
25 апр '19 в 06:39
1
ответ
Инициализирует ли MPI_File_write_at() файл нулями?
Рассмотрим следующую простую программу, которая записывает в файл ранг всех процессов, ранг которых больше нуля: #include <mpi.h> int main() { MPI_Init(NULL, NULL); int world_rank, world_size; MPI_Comm_rank(MPI_COMM_WORLD, &world_rank); MP…
11 дек '20 в 14:24
1
ответ
Параллельный ввод-вывод: файл на процесс против библиотек, таких как HDF5
Для высокопроизводительных вычислительных приложений с параллельным вводом-выводом в файловые системы Lustre, дает ли вывод файла на процесс верхний предел производительности? Я всегда использовал HDF5, предполагая, что это какая-то высокопроизводит…
17 окт '22 в 07:42