Как оптимизировать модель keras со слоями батчнорм с помощью механизма вывода Intel (OpenVINO)?

Question

Не удалось оптимизировать модель keras с помощью механизма логического вывода Intel (набор инструментов OpenVINO R.5)

Я замораживаю свою модель так же, как предлагает следующий урок. Модель keras обучена и протестирована. Мне нужно оптимизировать его для вывода. Однако я получаю сообщение об ошибке при запуске оптимизатора модели (скрипт mo.py) на пользовательской модели.

[ ERROR ] shapes (128,9) and (0,) not aligned: 9 (dim 1) != 0 (dim 0)

Последние несколько слоев моей модели (9 - количество выходных классов):

conv2d_4 (Conv2D) (None, 4, 4, 128) 204928 batch_normalization_3[0][0]
__________________________________________________________________________________________________
activation_4 (Activation) (None, 4, 4, 128) 0 conv2d_4[0][0]
__________________________________________________________________________________________________
batch_normalization_4 (BatchNor (None, 4, 4, 128) 512 activation_4[0][0]
__________________________________________________________________________________________________
average_pooling2d_2 (AveragePoo (None, 1, 1, 128) 0 batch_normalization_4[0][0]
__________________________________________________________________________________________________
dropout_2 (Dropout) (None, 1, 1, 128) 0 average_pooling2d_2[0][0]
__________________________________________________________________________________________________
flatten (Flatten) (None, 128) 0 dropout_2[0][0]
__________________________________________________________________________________________________
dense (Dense) (None, 128) 16512 flatten[0][0]
__________________________________________________________________________________________________
activation_5 (Activation) (None, 128) 0 dense[0][0]
__________________________________________________________________________________________________
batch_normalization_5 (BatchNor (None, 128) 512 activation_5[0][0]
__________________________________________________________________________________________________
dropout_3 (Dropout) (None, 128) 0 batch_normalization_5[0][0]
__________________________________________________________________________________________________
dense_1 (Dense) (None, 9) 1161 dropout_3[0][0]
__________________________________________________________________________________________________
color_prediction (Activation) (None, 9) 0 dense_1[0][0]
__________________________________________________________________________________________________

Оптимизатор модели не работает из-за наличия слоев BatchNormalization. Когда я удаляю их, он запускается успешно. Однако я замораживаю граф с

tf.keras.backend.set_learning_phase(0) 

Таким образом, такие узлы, как BatchNormalization и Dropout, должны быть удалены в замороженном графике, я не могу понять, почему они не удалены.

Большое спасибо!

Answer 1

Мне удалось запустить оптимизатор модели OpenVINO на модели Keras со слоями нормализации партии. Модель также, казалось, сходилась немного быстрее. Хотя уровень классификации тестов был ниже примерно на 5-7% (и разрыв между уровнем классификации тестовых и обучающих наборов данных был больше), чем у одной модели без BN. Я не уверен, что Batch Normalization правильно удален из модели в моем решении (но файл модели openVINO не содержит файла, поэтому он удален).

Удалить BN и Dropout слои:

#Clear any previous session.
tf.keras.backend.clear_session()
#This line must be executed before loading Keras model.
tf.keras.backend.set_learning_phase(0) 
model = tf.keras.models.load_model(weights_path)

for layer in model.layers:
    layer.training = False
    if isinstance(layer, tf.keras.layers.BatchNormalization):
        layer._per_input_updates = {}
    elif isinstance(layer, tf.keras.layers.Dropout):
        layer._per_input_updates = {}

И чем заморозить сессию:

def freeze_session(session, keep_var_names=None, output_names=None, clear_devices=True):
"""
Freezes the state of a session into a pruned computation graph.

Creates a new computation graph where variable nodes are replaced by
constants taking their current value in the session. The new graph will be
pruned so subgraphs that are not necessary to compute the requested
outputs are removed.
@param session The TensorFlow session to be frozen.
@param keep_var_names A list of variable names that should not be frozen,
                    or None to freeze all the variables in the graph.
@param output_names Names of the relevant graph outputs.
@param clear_devices Remove the device directives from the graph for better portability.
@return The frozen graph definition.
"""
from tensorflow.python.framework.graph_util import convert_variables_to_constants
graph = session.graph
with graph.as_default():
    freeze_var_names = list(set(v.op.name for v in tf.global_variables()).difference(keep_var_names or []))
    output_names = output_names or []
    output_names += [v.op.name for v in tf.global_variables()]
    # Graph -> GraphDef ProtoBuf
    input_graph_def = graph.as_graph_def()
    if clear_devices:
        for node in input_graph_def.node:
            node.device = ""
    frozen_graph = convert_variables_to_constants(session, input_graph_def,
                                                output_names, freeze_var_names)
    return frozen_graph