Смена модели во время тренировки [тензор потока]

Question

Смена модели во время тренировки [тензор потока]

Я создаю модель в тензорном потоке со всеми слоями, имеющими relu в качестве слоя активации. Однако, когда размер пакета увеличивается до 500, я хочу изменить модель так, чтобы второй последний слой для выходного слоя имел слой активации сигмовидной формы.

Что меня смущает, так это то, что мне нужно повторно инициализировать все переменные, так как я заменяю оптимизатор в середине? Или я сохраняю старые переменные?

0

tensorflow machine-learning optimization neural-network variable-initialization

Источник

user782400 20 апр '16 в 15:30

1 ответ

Решение

Другие вопросы по тегам tensorflow machine-learning optimization neural-network variable-initialization

user364772 22 апр '16 в 04:19 2016-04-22 04:19 · Accepted Answer · 2016-04-22 04:19

Это очень интересный вопрос. Я думаю, что это зависит от ваших наборов данных и моделей.

Да: возможно, вы можете использовать веса (до размера партии 500) как предварительно обученные, как это делают Deep Belief Networks (с RBM).

Нет: возможно, эти предварительно обученные веса наносят вред вашей модели и могут быть не лучше, чем другие хорошие инициализаторы, такие как xavier initializer https://www.tensorflow.org/versions/r0.8/api_docs/python/contrib.layers.html

Я думаю, стоит попробовать оба варианта.