Python: могу ли я получить представление памяти или отображение байтового массива в mmap

Question

Я пишу довольно простую программу на Python, которая читает область mmap и, возможно, изменяет некоторые байты в этой области mmap или, возможно, берет копию некоторых из этих байтов.

Область mmap имеет размер несколько МБ и разделена на фреймы размером 2048 байт. Программа очень быстро проходит по этой области непрерывно и иногда делает копию, почти все время затрагивая несколько байтов в каждом из кадров 2048 байтов.

Чтобы ограничить время, затрачиваемое на создание объекта, до минимума (т. Е. Создавать объект только при необходимости копирования), я хочу создать список "некоторого объекта", указывающего на память для каждых 2048-байтовых кадров.

До сих пор мне удавалось делать это с помощью ctypes (массив из 2048 символов), но я нахожу это громоздким в использовании. Мне интересно, есть ли способ создать представление памяти или объект, подобный байтовому массиву, из объекта mmap, не создавая фактическую копию памяти, а скорее просто указав объект на mmap.

Вот некоторый код:

from ctypes import *
import mmap

class fixed_size_frame_2048(Structure):
    _fields_ = [("data",c_ubyte * 2048)]

nb_frames = 4096
#mmap initializing code resulting in a map object pointing to shared memory
#the map object is nb_frames*2048 bytes big
map = mmap.mmap(
            -1,
            2048 * nb_frames,
            flags=(mmap.MAP_SHARED),
            prot=(mmap.PROT_READ | mmap.PROT_WRITE)
            )

.....

#initial creation of frame objects pointing into the mmap area
frames= [ None ] * nb_frames
    for i in range(nb_frames) :
        frames[i] = fixed_size_frame_2048.from_buffer(self.map,2048*i)
        #that I don't manage to make work
        #self.frames[i] = memoryview(self.map[2048*i : 2048*(i+1)])

#in the following loop, I never create an object unless I need a copy
position = 0
while True :
    if frames[position].data[2] != 0 :
        #copy the frame to another object
        newcopy = bytearray(frames[position].data)
        #do some other stuff with the new object
        #....


    #write a byte or a few into the mmap area (I'm looking for a more pythonic thing than ctypes here)
    frames[position].data[2] = 0

    #loop stuff
    position += 1
    position %= nb_frames

С нетерпением жду, чтобы прочитать любые ответы, я довольно озадачен этим. Должно быть, я упускаю что-то очевидное, но что?

Прошлой ночью было довольно поздно, так что возьмем следующее с недоверием: кажется, что memoryview возвращает мне адрес объекта ctype, а не область памяти, на которую указывает объект ctype. И если я запускаю bytearray() на срезе карты [:], я получаю копию, и если я пытаюсь просмотреть память на срезе, он, похоже, настаивает на указании на начало mmap. (или, по крайней мере: он всегда указывает на одно и то же место в области mmap для всех 4096 кадров -).

Answer 1

Очень важно понять, что ломтик mmap результаты в bytes, Это означает, что данные копируются и, следовательно, больше не связаны с оригиналом mmap,

Итак, сначала необходимо создать memoryview снаружи mmap сам и нарезать получившийся memoryview после этого. Таким образом, вы получите представление о памяти, предоставленной mmap,

Та же логика применяется при создании memoryview части bytearray, array, так далее.

Таким образом, код будет:

frames = [ None ] * nb_frames
for i in range(nb_frames) :
    frames[i] = memoryview(map)[2048*i : 2048*(i+1)]

или ИМХО более питоническое

frames = [memoryview(map)[2048*i : 2048*(i+1)] for i in range(nb_frames)]