Приводит ли обучение с учетом квантования Tensorflows к фактическому ускорению во время обучения?
Мы изучаем возможность использования обучения с учетом квантования для исследовательского проекта, чтобы определить влияние квантования во время обучения на скорость сходимости и время выполнения. Однако мы еще не полностью уверены, что это правильный инструмент. Не могли бы вы прояснить следующие моменты: 1) Если слой квантуется во время обучения с учетом квантования, это означает, что входные данные и веса квантуются, а все операции, включая функцию активации, квантуются, а затем, перед возвратом, выходные данные деквантовываются с точностью совместим со следующим слоем. Это понимание правильное? 2) Совместимость профилировщика Tensorboard? 3) Есть ли обучение с учетом квантования, в принципе,привести к ускорению во время тренировки в вашем общем опыте или это невозможно из-за того, что это всего лишь симуляция? 4) Можете ли вы указать нам на ресурс о том, как добавить пользовательские квантователи и типы данных в тензорный поток, если они совместимы с графическим процессором?
Большое спасибо за Вашу помощь!
1 ответ
После проведения некоторого исследования QAT не ускоряет обучение, а только подготавливает модель для квантования после обучения. Однако MuPPET - это алгоритм, который на самом деле ускоряет обучение за счет квантования.