Гессиан функции черного ящика, которая использует Pytorch
Прежде всего, я очень плохо знаком с Python и машинным обучением, поэтому, пожалуйста, извините за незнание того, что может быть очень простой проблемой; Я ценю любой вклад в этот вопрос!
У меня есть очень сложная скалярная многомерная функция, реализованная в Python, которая использует функциональные возможности Pytorch (на самом деле это композиция нейронной сети и операции, которые зависят от выходных данных из сети), и я хочу найти вектор градиента и матрицу Гессе эта функция в определенных точках. Кроме того numdifftools который имеет конечную разницу и не очень быстрый и точный, когда размер входного сигнала велик, есть ли альтернативы? Что-то, что кажется многообещающим torch.autograd который, я считаю, используется для вычисления градиента нейронных сетей, однако, может ли он вычислить градиент и гессиан любой функции черного ящика, которая выполняет код Pytorch? Любой вклад приветствуется!