Кафе вылетает после первой итерации?

Question

Кафе падает, когда я тренирую сеть.

Решатель и модель.

В этом случае я использовал только графический процессор 0. Вот ошибка трассировки:

build/tools/caffe train -solver models/mv16f/solver.prototxt -gpu 0

I0113 14:21:05.861361 85242 solver.cpp:289] Learning Rate Policy: step
I0113 14:21:05.862876 85242 solver.cpp:341] Iteration 0, Testing net (#0)
I0113 14:21:30.271030 85242 solver.cpp:409]     Test net output #0: accuracy = 0.00872
I0113 14:21:30.271070 85242 solver.cpp:409]     Test net output #1: loss = 4.62895 (* 1 = 4.62895 loss)
I0113 14:21:32.317018 85242 solver.cpp:237] Iteration 0, loss = 4.62663
I0113 14:21:32.317062 85242 solver.cpp:253]     Train net output #0: loss = 4.62663 (* 1 = 4.62663 loss)
*** Aborted at 1452691298 (unix time) try "date -d @1452691298" if you are using GNU date ***
PC: @     0x7fe7f65f1cbc caffe::SGDSolver<>::GetLearningRate()
*** SIGFPE (@0x7fe7f65f1cbc) received by PID 85242 (TID 0x7fe7f72057c0) from PID 18446744073548012732; stack trace: ***
    @     0x7fe7f49c0d40 (unknown)
    @     0x7fe7f65f1cbc caffe::SGDSolver<>::GetLearningRate()
    @     0x7fe7f65f2281 caffe::SGDSolver<>::ApplyUpdate()
    @     0x7fe7f65d967c caffe::Solver<>::Step()
    @     0x7fe7f65d8990 caffe::Solver<>::Solve()
    @     0x7fe7f673251e caffe::P2PSync<>::run()
    @           0x416aa6 train()
    @           0x418c9a main
    @     0x7fe7f49abec5 (unknown)
    @           0x415819 (unknown)
@                0x0 (unknown)

Полный выход поезда здесь.

Answer 1

В вашем файле решателя есть эта строка

lr_policy: "fixed"

Но выход Caffe имеет эту строку

lr_policy: "step"

Если вы используете пошаговое обучение, вы должны определить stepsize, Опять же, ваш файл решателя указывает, что вы определили размер шага, но вывод Caffe не показывает размер шага. Пожалуйста, проверьте файл решателя еще раз и добавьте эту строку обратно.

stepsize: 10000