Описание тега mpi-io

Описание тега Вопросы с тегом
MPI/IO обеспечивает высокопроизводительный переносимый интерфейс параллельного ввода-вывода для высокопроизводительных переносимых параллельных программ MPI
1 ответ

Использование MPI-IO для записи файлов в формате Fortran

Я пытаюсь сохранить решение, используя формат q-файла OVERFLOW-PLOT3D (определенный здесь: http://overflow.larc.nasa.gov/files/2014/06/Appendix_A.pdf). Для одной сетки, это в основном, READ(1) NGRID READ(1) JD,KD,LD,NQ,NQC READ(1) REFMACH,ALPHA,REY,…
14 янв '15 в 20:26
3 ответа

Запись в несколько общих файлов с помощью MPI-IO

Я запускаю симуляцию с тысячами процессов MPI и мне нужно записать выходные данные в небольшой набор файлов. Например, хотя у меня может быть 10000 процессов, я хочу записать только 10 файлов, по 1000 записей в каждый (с некоторым подходящим смещени…
24 фев '17 в 04:58
2 ответа

MPI IO Запись файла, когда смещение неизвестно

Я хочу использовать MPI IO для записи файлов. Процессы находятся в цикле while, и он вызывает функцию, которая генерирует случайный объем данных. Я хочу записать эти данные в один файл. Как я могу сделать это?
17 мар '14 в 11:15
1 ответ

Как повысить скорость ввода / вывода MPI на большом количестве ядер?

Я пытался запустить код с использованием ввода-вывода MPI на большом количестве ядер. Время, необходимое каждому ядру для чтения и записи в один файл (одинаковое для всех ядер), увеличивается с увеличением количества используемых ядер. В настоящее в…
20 апр '14 в 08:24
0 ответов

Оптимизируйте запись в общий файл с помощью MPI

В моей программе MPI мне нужно записать результаты некоторых вычислений в один (общий) файл, где каждый процесс MPI записывает свою часть данных с разными смещениями. Достаточно просто. Я реализовал это как: offset = rank * sizeof(double) * N; for (…
20 мар '16 в 10:46
1 ответ

Многопоточное объединение файлов (разделяемая память)

Допустим, у меня есть N файлов в таком формате: Один файл выглядит так: Для каждого времени есть некоторое количество данных с разными идентификаторами. - time 1: - data with id: 10 - data with id: 13 - data with id: 4 - time 2: - data with id: 10 -…
28 сен '13 в 10:47
1 ответ

Как создать mpi_type_indexed с неупорядоченным массивом смещений

У меня есть некоторые данные для записи в определенной позиции в файле. Каждая позиция дается мне в массиве. На данный момент я пишу их, записывая каждую переменную в определенную позицию с помощью mpi_file_write_at. Позиции не являются ни смежными,…
30 ноя '17 в 10:04
1 ответ

MPI_File_write C

Я должен использовать MPI для вычисления значения концентрации из трехмерной матрицы. Я делю свою матрицу на кусочки в зависимости от значения числа процедур, которые я буду использовать. Я получаю меньшую трехмерную матрицу, которая работает незави…
13 ноя '18 в 21:24
3 ответа

Возможно ли написать с несколькими процессорами в одном файле, в конце файла, по порядку?

Я имею 2 процессоры (это пример), и я хочу эти 2 процессоры для записи в файл. Я хочу, чтобы они писали в конце файла, но не в смешанном порядке, например: [file content] proc0 proc1 proc0 proc1 proc0 proc1 (and so on..) Я хотел бы заставить их писа…
01 окт '14 в 14:54
1 ответ

Форматирование MPI IO для GNUPlot

У меня есть программа C++, использующая MPI, где я хотел бы, чтобы каждый процесс (до 32) записывал в файл. Я использую небольшой набор тестовых данных, состоящий из 100 двойных чисел, равномерно распределенных по процессам. Вот как форматируется вы…
14 апр '13 в 01:10
1 ответ

MPI_File_read_at построчно

Я новый ученик MPI. Я хотел бы использовать MPI_File_read_at() для чтения данных из текстового файла построчно. Длина каждой строки различна, поэтому, когда я читаю одну строку (задаю длину буфера), иногда он также читает следующую строку, отправляе…
19 мар '16 в 02:52
1 ответ

Что может вызвать сбой MPI_File_write_all с исключением с плавающей точкой?

У меня есть звонок MPI_File_write_all: double precision buf[100][100][100]; int data_size = 100*100*100; MPI_Status stat_mpi; MPI_file sgfh; ... MPI_File_write_all(sgfh, (void*)buf, data_size, MPI_DOUBLE, &stat_mpi); Размер buf может варьировать…
25 окт '16 в 20:08
1 ответ

Ошибка сегментации при использовании MPI_File_open

Я пытаюсь прочитать из файла для приложения MPI. Кластер имеет 4 узла с 12 ядрами в каждом узле. Я попытался запустить основную программу для вычисления ранга, и это работает. Когда я добавил MPI_File_open, он генерирует исключение во время выполнен…
06 дек '12 в 02:44
1 ответ

Почему эти два кода MPI-IO не работают одинаково?

Я изучаю MPI-IO и следую учебному пособию (скачать PDF здесь). Для одного упражнения правильный код: Program MPI_IOTEST Use MPI Implicit None Integer :: wsize,wrank Integer :: ierror Integer :: fh,offset Call MPI_Init(ierror) Call MPI_Comm_rank(MPI_…
04 авг '15 в 21:25
1 ответ

Напишите несколько распределенных массивов с MPI IO

Я переписываю код численного моделирования, который распараллеливается с использованием MPI в одном направлении. До сих пор массивы, содержащие данные, были сохранены основным процессом MPI, что подразумевало передачу данных из всех процессов MPI в …
28 авг '15 в 21:35
1 ответ

Чтение неформатированного потокового двоичного файла с использованием ввода-вывода MPI в Fortran

У меня есть неформатированный потоковый двоичный файл размером ~60 ГБ, который я прочитал следующим образом в моем серийном коде; parameter(nsea=120445) real*4 p(nsea,nsea) open(10,file='my_file.grd' & & ,status='old',access='stream',form='u…
20 июн '18 в 08:14
2 ответа

MPI коллективный вывод 5 несмежных 3D массивов в специальной форме

В ходе выполнения курсовой работы мне нужно написать программу MPI для решения механики континуума PDE. (FORTRAN) В программном файле последовательности написано следующее: do i=1,XX do j=1,YY do k=1,ZZ write(ifile) R(i,j,k) write(ifile) U(i,j,k) wr…
14 окт '14 в 16:32
0 ответов

Чтение данных из файлов с использованием MPI в Fortran

Я хочу прочитать данные из некоторых файлов.dat в код Fortran для постобработки. В качестве тестового примера я просто использую один процессор для MPI и пытаюсь прочитать один файл данных в мой код. Содержимое файла данных выглядит следующим образо…
06 окт '17 в 20:42
2 ответа

MPI_FILE_READ && littleianian на Bluegene

Мне нужно прочитать (и написать) некоторый двоичный файл с прямым порядком байтов. Я пишу свой код Fortran на ПК с использованием Intel FC и Intel MPI. Ввод-вывод на ПК работает нормально, но последняя причина - запуск программы на Bluegene/P. Blueg…
15 окт '14 в 14:41
0 ответов

Как записать несколько переменных в файл, используя MPI I/O, используя Fortran

Приведенный ниже код дает мне 4 переменные, сохраняя 4 разных строки с 10 столбцами, тогда как мне нужно сохранить как 4 столбца в 10 строк. Я использую синтаксис hexdump для извлечения из файла program main use mpi integer :: wsize,wrank,ierr,i,fh,…
20 дек '17 в 05:48