Модель QAT более низкая точность, чем модель квантования после поезда
Версия TensorFlow (устанавливается из исходных кодов или двоичного кода): 2.3.0.dev20200609 (двоичный)
Версия TensorFlow Model Optimization (устанавливается из исходного кода или двоичного кода):0.3.0 (двоичный файл)
Версия Python:3.6.9
Я пытаюсь сравнить результаты базовой модели keras и обоих вариантов квантования ( QAT и просто квантование после поезда), и мне удается получить обе модели, но проблема в том, что модель после поезда показывает гораздо лучшие результаты (предельное падение по сравнению с базовая модель). Теперь можно было бы подумать, что подход QAT был бы даже лучше, но проблема в том, что модель показывает увеличение потерь примерно на 30-35%. Оба сценария созданы в соответствии с официальным руководством на сайте TF. Сама по себе модель действительно проста (несколько блоков CNN и 3 ветви плотных слоев. При необходимости я могу опубликовать фрагменты кода. Я пробовал несколько вещей с QAT: поиграйте с начальным lr, размером подмножества, которое я использую, небольшие изменения в архитектуре модели.
Что меня больше всего смущает, так это то, что я бы понял, что результаты QAT плохие, если результаты количественного анализа после поезда будут такими же плохими или хуже, но они почти идеальны, поэтому я не понимаю, почему лучшее решение хуже в этом кейс.