Microsoft CNTK Автоматическое дифференцирование
По словам Microsoft, CNTK включает в себя автоматическое дифференцирование. Для лучшего понимания источника (который я успешно собрал) я хотел бы знать, какие классы C++ реализуют AD и как это реализовано в CNTK?
1 ответ
Класс CNTK Function реализует AD (через метод градиентов, если быть точным). Нейронные сети представлены в виде нескольких Function такие композиции, как г (е (х)). Тогда производная функции g вычисляется по f следующим образом:
