Выбор оптимального решателя логистической регрессии для MNIST
Я новичок в обучении machnine. Я следил за некоторыми онлайн-уроками, где они подгоняют логистическую регрессию к данным MNIST, используя библиотеку Python Scikit. Показанный по умолчанию решатель liblinear работает медленно на обучающем наборе размером 60 000 изображений, поэтому в руководстве предлагается использовать решатель lbfgs.
Тем не менее, руководство пользователя предполагает, что этот решатель подходит только для небольших наборов данных:
Решатель "lbfgs" рекомендуется использовать для небольших наборов данных, но для больших наборов данных его производительность страдает. [9]
Хотя я знаком со статистикой, где небольшой набор данных обычно <100, как я могу обосновать выбор этого решателя здесь, а также как я отношусь к размеру выборки в этом случае? Должно ли это просто основываться на интуиции / производительности или есть какие-то строгие критерии?
1 ответ
Это не о решателе, который будет использоваться. Использование логистической регрессии для данных MNIST дает некоторые более низкие результаты. Потому что он просто проводит границу между двумя категориями. Принимая во внимание, что если вы используете нейронные сети, сверточные нейронные сети, SVM с любым ядром, отличным от "линейного", то они дадут оптимальные результаты при условии наилучшего соответствия параметров.
Солвер определенно тратит впустую ваше время. Но лучше использовать предложенные выше модели.