Почему mmap() не работает с ENOMEM для файла размером 1 ТБ?

Я работал с большими разреженными файлами на openSUSE 11.2 x86_64. Когда я пытаюсь выполнить mmap() разреженный файл размером 1 ТБ, он завершается неудачно с ENOMEM. Я бы подумал, что 64-битное адресное пространство будет достаточно для отображения в терабайтах, но, похоже, нет. Если продолжить эксперимент, файл объемом 1 ГБ работает нормально, но файл объемом 2 ГБ (и все, что больше) не работает. Я предполагаю, что где-то может быть настройка для настройки, но обширный поиск ничего не дает.

Вот пример кода, который показывает проблему - какие-нибудь подсказки?

#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>

int main(int argc, char *argv[]) {
    char * filename = argv[1];
    int fd;
    off_t size = 1UL << 40; // 30 == 1GB, 40 == 1TB

    fd = open(filename, O_RDWR | O_CREAT | O_TRUNC, 0666);
    ftruncate(fd, size);
    printf("Created %ld byte sparse file\n", size);

    char * buffer = (char *)mmap(NULL, (size_t)size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if ( buffer == MAP_FAILED ) {
        perror("mmap");
        exit(1);
    }
    printf("Done mmap - returned 0x0%lx\n", (unsigned long)buffer);

    strcpy( buffer, "cafebabe" );
    printf("Wrote to start\n");

    strcpy( buffer + (size - 9), "deadbeef" );
    printf("Wrote to end\n");

    if ( munmap(buffer, (size_t)size) < 0 ) {
        perror("munmap");
        exit(1);
    }
    close(fd);

    return 0;
}
Источник

3 ответа

Решение

Проблема заключалась в том, что ограничение виртуальной памяти для каждого процесса было установлено только в 1,7 ГБ. ulimit -v 1610612736 установите его на 1,5 ТБ, и мой вызов mmap() завершился успешно. Спасибо, bmargulies, за подсказку попробовать ulimit -a!

Источник

Существует ли какая-то квота на пользователя, ограничивающая объем памяти, доступной для пользовательского процесса?

Источник

Я предполагаю, что ядро ​​испытывает трудности с выделением памяти, необходимой для соответствия этому отображению памяти. Я не знаю, как сохраненные страницы хранятся в ядре Linux (и я предполагаю, что большая часть файла будет находиться в состоянии замены) большую часть времени, но может потребоваться запись для каждой страницы памяти, которую файл занимает в таблице. Так как этот файл может быть отображен более чем одним процессом, ядро ​​должно поспевать за отображением с точки зрения процесса, которое будет отображаться на другую точку зрения, которая будет отображаться на вторичное хранилище (и включать поля для устройства и местоположения).

Это будет соответствовать вашему адресуемому пространству, но может не помещаться (по крайней мере, непрерывно) в физическую память.

Если кто-нибудь знает больше о том, как Linux делает это, мне было бы интересно узнать об этом.

Источник
Другие вопросы по тегам