Большой интервал в последовательности операций в GPU
Я тестирую некоторый код тензорного потока на GPU.
Улучшение графического процессора не очень очевидно, поэтому я сбросил профиль json и проверил его с помощью хрома.
Структура сети представляет собой простую трехслойную сеть полного соединения.
все вызовы графического процессора выполняются в потоке: все это такие операции, как BiasAdd, MatMul и т. д.
Один мой друг сказал мне, что это может быть вызвано медленной загрузкой ЦП для заполнения команды графическим процессором, но, как я знаю, тензор потока создаст график и запустит его, поэтому не должно возникать проблем с задержкой ЦП после его построения.
Интересным является то, что интервал между работой графического процессора очень велик.
Кто-нибудь здесь знает почему?
Я обновляю код, чтобы использовать hook и MonitoredTrainingSession, чтобы убедиться, что выполнение графика не имеет остановки (как этот), но у GPU все еще есть очевидный интервал в последовательности операций. 