Описание тега numpy-memmap
Усовершенствованная утилита numpy.memmap(), позволяющая избежать ограничения размера ОЗУ и уменьшить окончательный объем ОЗУ (при разумной стоимости O/S-кэшированного файла IO, передаваемого через небольшое окно прокси-просмотра в ОЗУ во все данные массива)) Создает и обрабатывает карту памяти для массива, хранящегося в двоичном файле на диске.
1
ответ
Эффективность случайного среза на карте памяти
В качестве файла данных у меня есть двумерный массив размером 20 ГБ, 100 000 x 100 000 'float16'. Я загружаю его в память следующим образом: fp_read = np.memmap(filename, dtype='float16', mode='r', shape=(100000, 100000)) Затем я пытаюсь прочитать ф…
22 апр '18 в 08:01
1
ответ
Python: передача массива memmap через функцию?
Предположим, что я работаю с очень большим массивом (например, ~45 ГБ) и пытаюсь передать его через функцию, которая открывает принимает массивные массивы. Каков наилучший способ: Сохранить это для ограниченной памяти? Передать этот сохраненный масс…
27 окт '16 в 18:05
2
ответа
Может мемап панды серии. А как насчет данных?
Кажется, что я могу запоминать базовые данные для серии Python, создав mmap'd ndarray и используя его для инициализации Series. def assert_readonly(iloc): try: iloc[0] = 999 # Should be non-editable raise Exception("MUST BE READ ONLY (1)") except Va…
29 авг '17 в 15:36
1
ответ
Я не могу удалить файл, созданный memmap
Я не могу удалить созданный файл numpy.memmap Funtion class MyClass def __init__(self): self.fp = np.memmap(filename, dtype='float32', mode='w+', shape=flushed_chunk_shape) ... def __del__(self): del self.fp os.remove(filename) Когда я бегу del mycl…
10 окт '16 в 07:47
0
ответов
Многопроцессорный модуль управления памятью Python 2 vs 3
Последние несколько лет я работал над модулем python для параллельной обработки спутниковых изображений и недавно заметил, что использование памяти моим модулем сильно отличается между питоном 2 и 3. Эта проблема всегда возникает, когда я начинаю ра…
05 дек '18 в 13:29
0
ответов
Кэширование фрейма данных в joblib
Joblib имеет функциональность для совместного использования массивов Numpy между процессами, автоматически сопоставляя массив. Однако это использует специальные возможности Numpy. Pandas действительно использует Numpy под капотом, но если у всех ваш…
07 фев '19 в 02:59
3
ответа
numpy.memmap возвращает недостаточно памяти, в то время как доступно много
Во время типичного звонка numpy.memmap() на машине с 64-битным Windows Python вызывает следующую ошибку: OSError: [WinError 8] Not enough memory resources are available to process this command Другой компьютер с Windows выдает ту же ошибку с другим …
10 май '18 в 00:44
1
ответ
Добавить файл npy в другой файл npy с одинаковым количеством столбцов в обоих файлах
Размер файлов npy составляет около 5 ГБ, а объем оперативной памяти - около 5 ГБ, поэтому они не могут загружать оба массива. Как загрузить один файл npy и добавить его строки в другой файл npy, не загружая его
01 окт '17 в 08:05
1
ответ
Каков максимальный размер файла в 64-битной системе с использованием карт памяти
Я пытаюсь работать с большим файлом ~ примерно 50 ГБ. Я пытаюсь получить доступ к итерации по файлу, используя привязку памяти. Я вижу, что существует ограничение на размер файла, который будет использоваться для отображения памяти, который составля…
10 апр '18 в 20:19
1
ответ
Есть ли способ с помощью numpy запоминать комплексное число с прямым порядком байтов?
Я пытаюсь загрузить данные из очень больших файлов, которые отформатированы как сложные64, но с прямым порядком байтов. Из-за их размера я хочу использовать memmap. Я могу загрузить массив как байты с обратным порядком байтов, например: arr = np.mem…
08 июн '17 в 16:11
2
ответа
Можно ли отложить операции с numpy.memmap?
Рассмотрим этот пример: import numpy as np a = np.array(1) np.save("a.npy", a) a = np.load("a.npy", mmap_mode='r') print(type(a)) b = a + 2 print(type(b)) какие выводы <class 'numpy.core.memmap.memmap'> <class 'numpy.int32'> Так что каже…
22 апр '18 в 20:11
1
ответ
Почему я получаю OverflowError и WindowsError с numpy memmap и как ее решить?
Что касается другого моего вопроса здесь, этот код работает, если я использую небольшой кусок моего набора данных с dtype='int32', используя float64 выдает ошибку TypeError в моем основном процессе после этой части из-за safe правила, поэтому я буду…
04 янв '16 в 11:02
1
ответ
Можно ли закрыть временный файл memmap без очистки его содержимого?
Вариант использования: огромная обработка изображений. Я использую временные файлы mem-mapped, когда набор данных intermeditate превышает физическую память. Мне не нужно сохранять промежуточные результаты на диск после того, как я закончу с ними. Ко…
06 июл '18 в 14:20
2
ответа
Упаковка логического массива должна проходить через int (numpy 1.8.2)
Я ищу более компактный способ хранения логических значений. Numpy внутренне нужно 8 бит для хранения одного логического, но np.packbits позволить упаковать их, это очень круто. Проблема состоит в том, что для упаковки в массив 4e6 байтов массива 32e…
29 дек '15 в 12:44
1
ответ
Python: список объектов memmap становится типом 'None' внутри параллели joblib
Я делаю следующее: У меня есть список тензорных слоев DNN. nn.append(tf.layers.dense(...)) Каждый из приведенного выше списка добавляется в список объектов np.memmap. nnList[i] = nn Я могу получить доступ к списку memmap и получить тензоры. Но когда…
30 июл '18 в 12:48
1
ответ
numpy memmap ошибка времени выполнения.... 64-битная система с лимитом 2Gigas?
Я пытаюсь создать большой файл с NumPy Memmap big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]), len_im), order='F') Система Windows 10-64bit работает в 64-битном питоне In [2]: sys.maxsize Out[2]: 92233720368547758…
30 июл '18 в 22:01
1
ответ
Использование памяти numpy memmap - хотите повторить один раз
Скажем, у меня есть большая матрица, сохраненная на диске. хранить все это в памяти не реально, поэтому я использую memmap для доступа к нему A = np.memmap(filename, dtype='float32', mode='r', shape=(3000000,162)) Теперь допустим, что я хочу перебра…
16 июл '17 в 20:16
0
ответов
При параллельном обновлении файла numpy.memmap существует ли способ только "сбрасывать" фрагмент, а не весь файл?
Мне пришлось сделать много неприятных операций ввода-вывода, и я решил использовать файлы с отображением в памяти с numpy... после большой головной боли я понял, что когда процесс "сбрасывается" на диск, он часто перезаписывает то, что другие процес…
07 окт '16 в 22:55
0
ответов
Загрузка карты памяти Python - ошибка: невозможно выделить память
Я использую сервер Ubuntu для запуска процесса, интенсивного использования памяти. Моя структура данных - это словарь numpy массивы. После joblib.dumpВ качестве карты памяти размер файла составляет 52 ГБ. Когда я снова открываю файл, используя jobli…
21 дек '18 в 10:34
0
ответов
В Python, как GC обрабатывает mmap?
Я пишу многопроцессорную систему на Python. Один из дочерних процессов отвечает за чтение кадров из потока камеры, используя cv2, и передает этот кадр другому дочернему процессу для некоторой манипуляции и предварительного просмотра. Проблема в том,…
16 фев '19 в 14:56