Где добавить отсев в нейронной сети?

Question

Я видел описание о пропадании в разных частях нейронной сети:

1. выпадение в весовой матрице,

2. выпадение в скрытом слое после умножения матрицы и до relu,

3. выпадение в скрытом слое после рэлу,

4. и выпадение в выходной балл до функции softmax

Я немного смущен тем, где я должен выполнить отсев. Может ли кто-нибудь помочь прояснить это? Спасибо!

Answer 1

Так:

1. Первое использование, которое вы описали, называется выпадением весов.
2. Второе и третье использование, которое вы описали, одинаково, и они обычно описываются как выпадение при активации. Можно легко заметить, что он может быть представлен в виде выпадения весов, когда целая строка (или столбец - в зависимости от реализации) отключена.
3. В 4-м случае это не правильное использование dropout - слой, на котором вы хотите использовать dropout, является выходным слоем - так что это не лучшая идея использовать dropout там.