Как преобразовать ImageDataGenerator(DirectoryIterator) в набор данных?

Question

Я хочу загрузить большой набор изображений, который не помещается в память для семантической сегментации. Я пытаюсь использовать генератор данных и создал два генератора для изображения и маски. Однако я не могу найти, как включить эти генераторы в набор данных. Что я хочу сделать, так это загрузить большое количество изображений и масок из каталога и применить к маске предварительную обработку (преобразовав их из RGB в категориальные), а затем обучить U-Net для двоичной семантической сегментации. Вот код, который я пробовал до сих пор.

      # we create two instances with the same arguments
data_gen_args = dict(featurewise_center=True,
                     featurewise_std_normalization=True,
                     rotation_range=90,
                     width_shift_range=0.1,
                     height_shift_range=0.1,
                     zoom_range=0.2)
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)
seed=123
image_generator = image_datagen.flow_from_directory(
    "image_directory/",
    classes=['images'],
    class_mode=None,
    seed=seed)
mask_generator = mask_datagen.flow_from_directory(
    "label_directory",
    classes=['labels'],
    class_mode=None,
    seed=seed)```

> Found 12996 images belonging to 1 classes.
> Found 12996 images belonging to 1 classes.