При использовании Stochastic Gradient Descent с Shogun NeuralNetwork все классифицируется одинаково

Question

Я пытаюсь классифицировать количество выборок как 1 или 0, но при использовании Стохастического градиентного спуска в качестве алгоритма оптимизации все классифицируется как 1 или 0.

При использовании значения по умолчанию (L-BFGS) он работает, как и ожидалось, и классифицирует выборки как 1, так и 0. Я попытался настроить импульс, скорость обучения, размер партии, затухание и коэффициент ошибки, но ошибка всегда одинакова. Любая помощь будет принята с благодарностью!

num_feats = X_train.get_num_features()
layers = DynamicObjectArray()
layers.append_element(NeuralInputLayer(num_feats))
layers.append_element(NeuralLogisticLayer(16))
layers.append_element(NeuralLogisticLayer(8))
layers.append_element(NeuralSoftmaxLayer(2))

MLP = NeuralNetwork(layers)
MLP.set_gd_momentum(0.9)
MLP.set_gd_learning_rate(0.001)
MLP.set_gd_mini_batch_size(200)
MLP.set_optimization_method(0)

MLP.set_l2_coefficient(1e-4)
MLP.set_epsilon(1e-8)
MLP.set_max_num_epochs(200)

MLP.quick_connect()
MLP.initialize_neural_network()
MLP.set_labels(y_train)

MLP.train
conf_mat_MLP = acc.get_confusion_matrix(y_pred_MLP, y_test)
print(conf_mat_MLP)

Печать:

[[2400    0]
[ 314    0]]

Строка для объявления SGD не L-BFGS:

MLP.set_optimization_method(0)

Примечание: я использовал Stochastic Gradient Descent таким же образом с точно таким же набором поездов / тестов как в Scikit-learn, так и в Weka - оба из которых не выдают эту ошибку, поэтому я ожидаю, что это как-то связано с тем, как я конфигурирую алгоритм, но я понятия не имею, что!

Потенциально полезные ссылки -

Документы: http://www.shogun-toolbox.org/api/latest/classshogun_1_1CNeuralNetwork.html

Источник: http://www.shogun-toolbox.org/api/latest/NeuralNetwork_8h_source.html

Answer 1

Вы должны уменьшить (значительно) размер мини-партии - попробуйте с 20 или около того.