TensorRT со слоями CTC

Question

Я хочу оптимизировать свою модель с помощью tenorRT, однако уровень CTC в моей модели не поддерживается tenorRT. Кому-нибудь удалось оптимизировать уровень CTC с помощью tenorRT.

Answer 1

Мне удалось сделать это в два этапа: сначала с помощью TensorRT для получения логитов вероятности, а затем с помощью C++ CTC-декодера для декодирования логитов.

Поскольку декодирование CTC подходит для CPU, а также мне удается использовать GPU для получения пакетов логитов и ставить в очередь каждый пакет logit в очередь декодирования CTC CPU во время работы GPU. Таким образом, процессор и графический процессор могут работать параллельно. Реализацию C++ декодера CTC можно найти в Github или в репозитории Tensorflow.