Платформа CUDA поддерживает компиляцию во время выполнения (аналогично OpenCL): двоичный файл вашего приложения может загружать исходный код программы из файла (или генерировать его динамически) и компилировать его в промежуточный формат PTX. Затем его можно связать с исполняемым двоичным кодом gpu с помощью API драйвера CUDA.

Более подробное описание и полные примеры можно найти в документации nVIDIA для NVRTC.