Гиперпараметры настраивающих слоев ResNet
Недавно я начал работать с ResNet, адаптируя официальную реализацию TensorFlow ResNet для работы с настраиваемым набором данных. Мне удалось адаптировать код для ввода моего собственного набора данных, однако я столкнулся с проблемой размера изображений при попытке его запуска. Мой набор данных содержит 512x512 изображений, в то время как базовая реализация была построена для (CIFAR10) изображений 32x32. Из-за этого, чтобы запустить сеть, мне нужно изменить модель сети (размеры и уровни слоев) так, чтобы выходной размер сети был правильным, в противном случае код выдает ошибку из-за несоответствия размера. Слои в настоящее время определены как:
number of filters: 16
kernel size of the first convolution: 3
stride of the first convolution: 1
size of the first pooling layer: None (currently being skipped)
stride of the first pooling layer: None (currently being skipped)
size of the second pooling layer: 8
stride of the second pooling layer: 1
number of blocks in each block layer: [8, 8, 8]
stride of each block layer: [1, 2, 2]
fully connected layer size: 64
Я новичок в области сверточных нейронных сетей, поэтому я не знаю, как лучше всего адаптировать эти слои. Я попробовал наивный подход, слегка увеличив каждый слой, чтобы избежать массового перехода на один слой, и следовал нескольким рекомендациям, которые я выбрал отсюда.
number of filters: 32
kernel size of the first convolution: 7
stride of the first convolution: 2
size of the first pooling layer: 3
stride of the first pooling layer: 2
size of the second pooling layer: 7
stride of the second pooling layer: 1
number of blocks in each block layer: [8, 8, 8, 8]
stride of each block layer: [2, 2, 2, 2]
fully connected layer size: 1024
Однако с этими изменениями сеть не сходится, и потери быстро возрастают до бесконечности (например, потеря составляет почти 4 миллиона после 100 этапов обучения). Существует ли набор рекомендаций или советов, которые я могу использовать для улучшения этой адаптации?
Любая помощь или совет в этом отношении будет высоко ценится.