Запишите огромные массивы в один файл, используя MPI-IO с указателем общего файла

Question

Я пытаюсь записать несколько длинных распределенных массивов в один файл, используя MPI-I/O (реализация OpenMPI) с указателем общего файла. Я получаю следующие сообщения об ошибках

lseek: неверный аргумент

НАПИСАТЬ ОТКАЗ

Я подготовил упрощенный фрагмент кода, чтобы воспроизвести проблему.

        long long globalUpperBnd = 2200000000;// more than size of int
        long long average = globalUpperBnd/commSize;
        long long length = (commRank == commSize-1) ? globalUpperBnd-(average*commRank) : average;
        char *buf = new char[length];
        ... // fill the buffer

        MPI_File file;
        MPI_File_open(comm, "test.bin", MPI_MODE_CREATE|MPI_MODE_WRONLY, MPI_INFO_NULL, &file);

        MPI_File_set_view(file, 0, MPI_BYTE, MPI_BYTE, "native", MPI_INFO_NULL);
        MPI_File_write_ordered(file, buf, length, MPI_BYTE, MPI_STATUS_IGNORE);
        // here I got an error message
        MPI_File_write_ordered(file, buf, length, MPI_BYTE, MPI_STATUS_IGNORE);

        MPI_File_close(&file);

        delete []buf;

Это выглядит как MPI_Offset просто int и второй звонок MPI_File_write_ordered причины MPI_Offset переполнение, смещение становится отрицательным. Интересно, что запись одного и того же объема данных может быть успешно выполнена умножением globalUpperBnd на 2 и звонит MPI_File_write_ordered только раз. Так выглядит MPI_File_write_ordered как-то избегает смещения переполнения.

Я использую 64-битную библиотеку OpenMPI.

Есть ли обходной путь для этого случая?

Answer 1

Я думаю, что обходной путь - обновить вашу реализацию MPI. И OpenMPI, и MPICH работали над подобными "огромными ошибками ввода-вывода" - указатели на общие файлы не привлекают к себе большого внимания, но я думаю, что в прошлом году или около того исправления ошибок должны были об этом позаботиться.