Данные агументации керасов с помощью альбументаций

Question

Я пытаюсь дрессировать кераса ResNet50модель для модели классификации изображений с использованием учебника . Помимо встроенного генератора данных, я хочу использовать альбументации для увеличения.

      from albumentations import Compose
transforms = Compose([HorizontalFlip()])

Я прочитал несколько статей, но не мог понять, как применять альбументацию.

Какую строку кода мне следует изменить для реализации альбументации.
Я воспроизвожу приведенный ниже код после удаления ненужных строк.

      NUM_CLASSES  = 2
CHANNELS     = 3
IMAGE_RESIZE = 224

RESNET50_POOLING_AVERAGE = 'avg'
DENSE_LAYER_ACTIVATION   = 'softmax'
OBJECTIVE_FUNCTION       = 'categorical_crossentropy'
LOSS_METRICS             = ['accuracy']

NUM_EPOCHS = 300
EARLY_STOP_PATIENCE = 20

STEPS_PER_EPOCH_TRAINING = 20
STEPS_PER_EPOCH_VALIDATION = 20

BATCH_SIZE_TRAINING = 10
BATCH_SIZE_VALIDATION = 10

# %% ---------------------------------------------------------------------
TrainingData_directory   = 'C:/datafolder/Train'
ValidationData_directory = 'C:/datafolder/Validation'
ModelCheckpointPath      = 'C:/datafolder/ResNet50_Weights.hdf5'
# %% ---------------------------------------------------------------------
from albumentations import Compose
import tensorflow as tf
from tensorflow.keras.applications import ResNet50
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# %%  ---------------------------------------------------------------------
model = Sequential()
model.add(ResNet50(include_top = False, pooling = RESNET50_POOLING_AVERAGE, weights = 'imagenet'))
model.add(Dense(NUM_CLASSES, activation = DENSE_LAYER_ACTIVATION))
model.layers[0].trainable = False


from tensorflow.keras import optimizers
sgd = optimizers.SGD(lr = 0.001, decay = 1e-6, momentum = 0.9, nesterov = True)
model.compile(optimizer = sgd, loss = OBJECTIVE_FUNCTION, metrics = LOSS_METRICS)

from keras.applications.resnet50 import preprocess_input
from keras.preprocessing.image import ImageDataGenerator

image_size = IMAGE_RESIZE

data_generator = ImageDataGenerator(preprocessing_function = preprocess_input)

train_generator = data_generator.flow_from_directory(TrainingData_directory,
        target_size = (image_size, image_size),
        batch_size = BATCH_SIZE_TRAINING,
        class_mode = 'categorical')

validation_generator = data_generator.flow_from_directory(ValidationData_directory,
        target_size = (image_size, image_size),
        batch_size = BATCH_SIZE_VALIDATION,
        class_mode = 'categorical')

from tensorflow.python.keras.callbacks import EarlyStopping, ModelCheckpoint

cb_early_stopper = EarlyStopping(monitor = 'val_loss', patience = EARLY_STOP_PATIENCE)
cb_checkpointer = ModelCheckpoint(filepath = ModelCheckpointPath,
                                  monitor = 'val_loss', save_best_only = True, mode = 'auto')

fit_history = model.fit_generator(
        train_generator,
        steps_per_epoch=STEPS_PER_EPOCH_TRAINING,
        epochs = NUM_EPOCHS,
        validation_data=validation_generator,
        validation_steps=STEPS_PER_EPOCH_VALIDATION,
        callbacks=[cb_checkpointer, cb_early_stopper]
)

Answer 1

Я думаю, вы можете сделать это с помощью функции preprocessing_function ImageDataGenerator. Функция должна принимать одно изображение в качестве входных данных и возвращать изображение. Так что в твоем случае.

      def augmentor (img)
# place you code here do to the albumentations transforms
# your code should result in a single transformed image I called aug_img
return aug_img/127.5-1 #scales the pixels between -1 and +1 which it what preprocees_input does 
data_generator = ImageDataGenerator(preprocessing_function = augmentor)

Answer 2

Вы можете включить его в функцию предварительной обработки, переданную в ImageDataGenerator:

      def preprocessing_function(x):
    preprocessed_x = preprocess_input(x)
    transformed_image = transforms(image=preprocessed_x)['image']
    return transformed_image

ImageDataGenerator(preprocessing_function = preprocessing_function)

Answer 3

Это (ИМО) ограничение или потеря гибкости, с которыми можно столкнуться при использовании встроенного генератора данных ( ImageDataGenerator). Вы должны реализовать свой собственный генератор данных.

Проверьте это ядро: [TF.Keras]: SOTA Augmentation in Sequence Generator, где мы показали, как можно использовать albumentation, cutmix, mixup, а также fmixвведите предварительное расширение в настраиваемый генератор. Вот базовый подход к использованию albumentaiton в настраиваемом генераторе данных.

      import albumentations as A 
    
# For Training 
def albu_transforms_train(data_resize): 
    return A.Compose([
          A.ToFloat(),
          A.Resize(data_resize, data_resize),
          A. [.....what ever......]
   ], p=1.)

      class Generator(tf.keras.utils.Sequence):
    def __getitem__(self, index):
            ...........
       Data = np.empty((self.batch_size, *self.dim))
       Target = np.empty((self.batch_size, 5), dtype = np.float32)
    
       for i, k in enumerate(idx):
           # load the image file using cv2
           image = cv2.imread(self.img_path + self.data['image_id'][k])
           image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
                
           # call augmentor / albumentation 
           res = self.augment(image=image)
           image = res['image']
                
           # assign 
           Data[i,:, :, :] =  image
           Target[i,:] = self.label.loc[k, :].values
                   
       return Data, Target 

# call the generator 
check_gens = Generator(....,  transform = albu_transforms_train(128))