В чем разница между стохастическим градиентным спуском и LightGBM?
Хотя я в отдельности исследовал эти концепции, меня смущает вопрос о том, можно ли выбрать одно или другое для решения или оба могут быть использованы одновременно для улучшения результатов? Любое руководство, которое вы можете предоставить, будет высоко ценится.
1 ответ
Насколько я понимаю, функция стоимости градиентного спуска основана на всем обучающем наборе, тогда как стохастический градиентный спуск приближает стоимость истинного градиента, используя намного меньше, чем весь обучающий набор.
Вопрос о том, что использовать и когда, основан на определении достаточности вычислительной мощности для расчета точной стоимости градиента. Если есть достаточная вычислительная мощность и время, рассчитайте это точно.
Если тренировочный набор слишком велик, стоит попробовать стохастический градиентный спуск. Используйте оба для проверки качества аппроксимации.
В общем, я бы не стал использовать оба по одной и той же причине, я бы никогда не усреднил точное значение и его приближение (Пример: 1=1, но 1 также составляет приблизительно 0,99, поэтому (1+0,99)/2 = 0,995)