Описание тега levenberg-marquardt
Левенберг-Марквардт - широко используемый алгоритм оптимизации второго порядка. В большинстве случаев он превосходит методы оптимизации градиента первого порядка.
Алгоритм использует [частные] производные второго порядка функции по ее переменным. В методах оптимизации первого порядка (градиентный спуск) уравнение обновления выглядит следующим образом:
https://stackru.com/images/1ca3995b7179cc474667a01eb23c6c9a1fd43f9e.gif
Однако проблема с этими методами заключается в том, что они https://stackru.com/images/b33c356f354357aaf59b71b526ba9f9daa6a66e7.gif устраняются заранее и, таким образом, не позволяют учитывать кривизну функциональной поверхности. Левенберг-Марквардт решает эту проблему в значительной степени за счет использования частных производных второго порядка ( матрицы Гессиана).