Как бороться с NaN и 0 для потери и проверки во время обучения

Question

Я использую SSD512(предварительно обученную модель imagenet) и Faster_R-CNN(предварительно обученный), в то время как тренировки, потеря и уверенность отображают nan и проверку как 0.

[Basketball-ChainerCV] ( https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py).

Это изображение для обучения SSD300 ниже:

При обучении Faster R-CNN перед началом тренировки перед результатом первого набора эпох отображается следующее:

/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in exp
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in multiply
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in exp
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in multiply
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126: 
RuntimeWarning: invalid value encountered in greater_equal 

Вещи, которые я пробовал:

1. Увеличение скорости обучения
2. Уменьшение размера партии
3. Удалены изображения, аннотации и содержимое в текстовых файлах с изображениями, где ограничительная рамка составляет менее 1% от общего размера изображения.

Примечание: все отлично работает с SSD300, проблемы с SSD512 и более быстрыми моделями RCNN. Все модели предварительно обучены на наборе данных ImageNet.

Каковы проблемы / проблемы позади проблемы? Кто-нибудь может дать указания о том, как бороться с такими проблемами?