Как получить точность обучения в svmlight с перекрестной проверкой

Question

Я хочу провести перекрестную проверку на моем тренировочном наборе, используя SVMlight. Кажется, что опция для этого -x 1 (хотя я не уверен, сколько фолдов это реализует...). Выход:

XiAlpha-estimate of the error: error<=31.76% (rho=1.00,depth=0)
XiAlpha-estimate of the recall: recall=>68.24% (rho=1.00,depth=0)
XiAlpha-estimate of the precision: precision=>69.02% (rho=1.00,depth=0)
Number of kernel evaluations: 56733
Computing leave-one-out **lots of gibberish here**
Retrain on full problem..............done.
Leave-one-out estimate of the error: error=12.46%
Leave-one-out estimate of the recall: recall=86.39%
Leave-one-out estimate of the precision: precision=88.82%
Actual leave-one-outs computed:  412 (rho=1.00)
Runtime for leave-one-out in cpu-seconds: 0.84

Как я могу получить точность? От estimate of the error?

Спасибо!

Answer 1

Это противоречивые понятия. Ошибка обучения - это ошибка в обучающем наборе, в то время как перекрестная проверка используется для аппроксимации ошибки проверки (на данных, не используемых для обучения).

Ваш вывод предполагает, что вы используете N-кратные сгибы (где N-размер обучающего набора), что приводит к так называемой проверке "оставьте один" (только 1 контрольная точка!), Что переоценивает качество вашей модели. Вы должны попробовать 10 раз, и ваша точность просто 1 ошибка.