Обучение квантованию для модели Tensorflow Keras

Question

Я хочу тренироваться с учетом квантования с моей моделью keras. Я пробовал, как показано ниже. Я использую тензорный поток 1.14.0

train_graph = tf.Graph()
train_sess = tf.compat.v1.Session(graph=train_graph)
tf.compat.v1.keras.backend.set_session(train_sess)

with train_graph.as_default():
    tf.keras.backend.set_learning_phase(1)
    model = my_keras_model()

    tf.contrib.quantize.create_training_graph(input_graph = train_graph, quant_delay=5)
    train_sess.run(tf.global_variables_initializer()) 

    model.compile(...)
    model.fit_generator(...)

    saver = tf.compat.v1.train.Saver()  
    saver.save(train_sess, checkpoint_path)

Работает без ошибок.

Однако размер сохраненной модели (h5 и ckpt) полностью такой же, как и у модели без квантования.

Это правильный путь? Как я могу проверить, хорошо ли он квантован?

Или есть лучший способ квантования?

Answer 1

Когда вы заканчиваете обучение с учетом квантования и сохраняете свою модель на диск, она фактически еще не квантована. Другими словами, он "подготовлен" к квантованию, но веса по-прежнему остаются плавающими32. Вам необходимо дополнительно преобразовать вашу модель в TFLite, чтобы она действительно была квантована. Вы можете сделать это с помощью следующего фрагмента кода:

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]

quantized_tflite_model = converter.convert()

Это будет квантовать вашу модель с помощью весов int8 и активаций uint8.

Взгляните на официальный пример для дальнейшего использования.