Могу ли я передать другой стартовый символ в RNN-декодер?
Когда RNN используется для прогнозирования предложения, состояние декодера инициализируется с помощью ввода:
<S> (начальный символ, который побуждает декодер выдать первое слово ответа)
ех. Дано <S>предсказывать Theзатем Theпредсказывать car,
Если моя цель состояла в том, чтобы предсказать конец последовательности, учитывая начало,
Input: "The car was"
Target: "moving down the hill."
Будет ли смысл кормить первую ячейку декодера was вместо <S>?
питающий was должен увеличить информацию, доступную для декодера, по сравнению с использованием статического токена для каждого примера, который не содержит конкретной информации.
Я публикую этот вопрос, потому что, наоборот, кажется, что это может быть необходимо для <S> оставаться статичным во время тренировки.