Обучение отображает nan для основной потери и уверенности и 0 для проверки
Я использую SSD512(модель с предварительным обучением imagenet) и Faster_R-CNN(предварительно обученный) во время обучения, потеря и уверенность отображают nan и валидацию как 0. Я использовал тот же набор данных и технику с SSD300(модель с предварительным обучением imagenet)), который хорошо работает, давая хорошие прогнозы после тренировки [Basketball-ChainerCV] ( https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py).
При обучении Faster R-CNN перед началом тренировки перед результатом первого набора эпох отображается следующее:
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65:
RuntimeWarning: overflow encountered in exp
h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65:
RuntimeWarning: overflow encountered in multiply
h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66:
RuntimeWarning: overflow encountered in exp
w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66:
RuntimeWarning: overflow encountered in multiply
w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126:
RuntimeWarning: invalid value encountered in greater_equal
Вещи, которые я пробовал:
- Увеличение скорости обучения
- Уменьшение размера партии
- Удалены изображения, аннотации и содержимое в текстовых файлах с изображениями, где ограничительная рамка составляет менее 1% от общего размера изображения.
Примечание: все отлично работает с SSD300, проблемы с SSD512 и более быстрыми моделями RCNN.
Каковы проблемы / проблемы позади проблемы? Кто-нибудь может дать указания о том, как бороться с такими проблемами?