Почему нейронные сети не выпуклые?

Question

Почему нейронные сети не выпуклые?

В отличие от линейной и логистической регрессии, функции стоимости ИНС не являются выпуклыми и, следовательно, подвержены локальным оптимумам. Может ли кто-нибудь представить интуицию о том, почему это относится к ANN, и почему гипотеза не может быть изменена для получения выпуклой функции?

4

neural-network mathematical-optimization convex cost-based-optimizer

Источник

user5031496 17 авг '17 в 23:01

1 ответ

Решение

Другие вопросы по тегам neural-network mathematical-optimization convex cost-based-optimizer

user5031496 17 авг '17 в 23:09 2017-08-17 23:09 · Accepted Answer · 2017-08-17 23:09

Я нашел достаточное объяснение здесь:

https://stats.stackexchange.com/questions/106334/cost-function-of-neural-network-is-non-convex

В основном, так как веса являются перестановочными для разных слоев, существует множество решений для любых минимумов, которые дадут одинаковые результаты, и, следовательно, функция не может быть выпуклой (или вогнутой).