Расширение ввода двойного изображения из файла h5 в модели глубокого обучения

Question

У меня есть модель глубокого обучения, которая берет два входных изображения из файла h5, а затем выводит значение. Моя модель использует keras и tensorflow вместе с python. Я хотел бы дополнить мои текущие данные, используя методы увеличения изображения. Чтобы это работало в моей модели, к обоим входным изображениям должно быть применено одинаковое увеличение.

Я наткнулся на этот HDF5ImageGenerator: https://github.com/angulartist/Keras-HDF5-ImageDataGenerator

Однако исправление, указанное в приведенной выше ссылке, не сработает в моей ситуации, когда используются два ввода из файла h5. В частности, эти два входа передаются модели с использованием двух матриц HDF5Matrices (по одной HDF5Matrix для каждого входа) из keras. Я был бы очень признателен, если бы у кого-нибудь были идеи или кто-нибудь мог бы указать мне решение моего нынешнего затруднительного положения.

Answer 1

Я знаком с HDF5, но не с Keras-HDF5-ImageDataGenerator. Итак, я не понимаю разницы в вашем текущем процессе с Keras HDF5Matrix и использованием Keras-HDF5-ImageDataGenerator. Оба читают изображение и данные метки из файла H5, верно? Если это так, все, что необходимо, - это понимание схемы каждого файла и возможность некоторых манипуляций с данными (предварительной обработки) для соответствия необходимой схеме.

Я нашел это в документах Keras. Это как вы читаете изображения и данные этикеток с помощью HDF5Matrix? (сначала для набора данных изображений, затем для набора данных ярлыков)

      HDF5Matrix(datapath, dataset, start=0, end=None, normalizer=None)
# something like this:
image_train = HDF5Matrix('path/to/train.h5', 'images')
label_train = HDF5Matrix('path/train.h5', 'labels')

Если это так, входные данные очень похожи на входные данные для ImageDataGenerator:

      HDF5ImageGenerator(src='path/to/train.h5', X_key='images', y_key='labels',
        scaler= , num_classes= , labels_encoding='hot' ,batch_size=##, 
        augmenter=your_augmenter_function)

Where:
datapath -> src -> 'path/to/train.h5'
dataset for images -> X_key='images' 
dataset for labels -> y_key 'labels'