Что на самом деле генерирует вызов ICudaEngine.serialize()?

Question

Я хочу выяснить, что на самом деле парни из TensorRT называют "движком". Я хочу знать это, потому что я не уверен, смогу ли я использовать один и тот же движок, чтобы выводить поверх реальных архитектур GPU разные графические процессоры.

Я знаю, что существует своего рода код, который выполняет этап вывода нейронной сети. Я хочу выяснить, содержит ли он код cuda PTX (своего рода байт-код, интерпретируемый JIT CUDA) или, возможно, это фактический двоичный файл, скомпилированный для данной архитектуры графического процессора.

Я ожидаю, что это будет своего рода портативный байт-код. Есть ли у вас какие-либо подсказки?

Большое спасибо!

Answer 1

Я хочу знать это, потому что я не уверен, смогу ли я использовать один и тот же движок для вывода на реальную архитектуру различных графических процессоров.

Созданные модели TensorRT оптимизированы в соответствии с архитектурой графического процессора, на котором они построены. Таким образом, движок, построенный на одной архитектуре графического процессора, не должен использоваться на другой архитектуре.