Transfer Learning - попытка переобучить Effectivenet-B07 на RTX 2070 из памяти

Question

Это обучающий код, который я пытаюсь запустить при примерке 64gb ram CPUдавить на RTX 2070

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.7
tf.keras.backend.set_session(tf.Session(config=config))

model = efn.EfficientNetB7()
model.summary()

# create new output layer
output_layer = Dense(5, activation='sigmoid', name="retrain_output")(model.get_layer('top_dropout').output)
new_model = Model(model.input, output=output_layer)
new_model.summary()
# lock previous weights

for i, l in enumerate(new_model.layers):
    if i < 228:
        l.trainable = False
# lock probs weights

new_model.compile(loss='mean_squared_error', optimizer='adam')

batch_size = 5
samples_per_epoch = 30
epochs = 20

# generate train data
train_datagen = ImageDataGenerator(
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    validation_split=0)

train_generator = train_datagen.flow_from_directory(
    train_data_input_folder,
    target_size=(input_dim, input_dim),
    batch_size=batch_size,
    class_mode='categorical',
    seed=2019,
    subset='training')

validation_generator = train_datagen.flow_from_directory(
    validation_data_input_folder,
    target_size=(input_dim, input_dim),
    batch_size=batch_size,
    class_mode='categorical',
    seed=2019,
    subset='validation')

new_model.fit_generator(
    train_generator,
    samples_per_epoch=samples_per_epoch,
    epochs=epochs,
    validation_steps=20,
    validation_data=validation_generator,
    nb_worker=24)

new_model.save(model_output_path)



exception:

2019-11-17 08:52:52.903583: I tensorflow/stream_executor/dso_loader.cc:152] успешно открыл локально библиотеку CUDA libcublas.so.10.0....... 17.11. 2019 08:53:24.713020: I tensorflow/core/common_runtime/bfc_allocator.cc:641] 110 фрагментов размером 27724800 на общую сумму 2,84 ГБ на общую сумму 222,10 МБ 2019-11-17 08:53:24.713027: I tensorflow / core / common_runtime / bfc_allocator.cc:641] 23 фрагмента размером 54000128 на общую сумму 1,16 ГБ 2019-11-17 08:53:24.713031: I tensorflow/core/common_runtime/bfc_allocator.cc:641] 1 Блоки размером 73760000 на сумму 70,34 МБ 2019-11-17 08:53:24.713034: I tensorflow/core/common_runtime/bfc_allocator.cc:645] Сумма Всего используемых блоков: 5,45GiB 2019-11-17 08:53:24.713040: I tensorflow/core/common_runtime/bfc_allocator.cc:647] Статистика: Лимит: 5856749158 InUse: 5848048896 MaxInUse: 5848061440 NumAllocs: 6140 MaxAllocSize: 3259170816

2019-11-17 08:53:24.713214: W tensorflow / core / common_runtime / bfc_allocator.cc:271] ************************* ************************************************* ************************ 17.11. 2019 08:53:24.713232: W tensorflow/core/framework/op_kernel.cc:1401] Ошибка OP_REQUIRES at cwise_ops_common.cc:70: Ресурсы исчерпаны: OOM при выделении тензора с формой [5,1344,38,38] и типа float on /job:localhost/replica:0/task:0/device:GPU:0 распределителем GPU_0_bfc Отслеживание (последний вызов последним): файл "/home/naort/Desktop/deep-learning-data-preparation-tools/EfficientNet-Transfer-Learning-Boiler-Plate/model_retrain.py", строка 76, в nb_worker=24) Файл "/usr/local/lib/python3.6/dist-packages/keras/legacy/interfaces.py", строка 91, в оболочке return func(*args, **kwargs) File "/usr/local/lib/python3.6/dist-packages/keras/engine/training.py", строка 1732, в файле fit_generator initial_epoch=initial_epoch)"/usr/local/lib/python3.6/dist-packages/keras/engine/training_generator.py", строка 220, в fit_generator reset_metrics=False) Файл "/usr/local/lib/python3.6/dist-packages/keras/engine/training.py", строка 1514, в файле train_on_batch output = self.train_function(ins) File "/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/keras/backend.py", строка 3076, в вызове run_metadata=self.run_metadata) Файл"/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/client/session.py", строка 1439, в вызове run_metadata_ptr) File "/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/framework/errors_impl.py", строка 528, при выходе c_api.TF_GetCode(self.status.status)) tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM при выделении тензора с формой [5,1344,38,38] и типом float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [[{{node training/Adam/gradient/AddN_387-0-TransposeNHWCToNCHW-LayoutOptimizer}}]] Подсказка: если вы хотите видеть список выделенных тензоров при выполнении OOM, добавьте report_tensor_allocations_upon_oom в RunOptions для получения информации о текущем распределении.добавьте report_tensor_allocations_upon_oom в RunOptions для получения информации о текущем распределении.добавьте report_tensor_allocations_upon_oom в RunOptions для получения информации о текущем распределении.

[[{{node Mean}}]] Подсказка: если вы хотите видеть список выделенных тензоров при OOM, добавьте report_tensor_allocations_upon_oom в RunOptions для получения информации о текущем распределении.

Answer 1

Несмотря на то, что модели EfficientNet имеют меньшее количество параметров, чем сравнительные модели ResNe(X)t, они по-прежнему потребляют значительные объемы памяти графического процессора. Вы видите ошибку нехватки памяти для вашего графического процессора (8 ГБ для RTX 2070), а не системы (64 ГБ).

Модель B7, особенно в полном разрешении, выходит за рамки того, что вы хотели бы использовать для обучения с одной картой RTX 2070. Даже если замораживает много слоев.

Что-то, что может помочь, - это запуск модели в FP16, который также будет использовать TensorCores вашей карты RTX. Из https://medium.com/@noel_kennedy/how-to-use-half-precision-float16-when-training-on-rtx-cards-with-tensorflow-keras-d4033d59f9e4 попробуйте следующее:

import keras.backend as K

dtype='float16'
K.set_floatx(dtype)

# default is 1e-7 which is too small for float16.  Without adjusting the epsilon, we will get NaN predictions because of divide by zero problems
K.set_epsilon(1e-4)