Tensorflow: «избыточный» индекс в плотном слое с softmax
Я строил модель нейронного машинного перевода на основе слов в Tensorflow с использованием LSTM. Я следил за несколькими учебниками, в том числе:
https://towardsdatascience.com/implementing-neural-machine-translation-using-keras-8312e4844eb8
Мой вопрос конкретно о том, как работает последний плотный слой (с активацией softmax).
Всем словам в корпусе присваивается целое число. Целому 0 не присваивается слово.
Когда вы получаете вывод из последнего плотного (+ softmax) слоя, что произойдет, если индекс 0 будет иметь максимальное значение? Как Tensorflow интерпретирует это? Ни одно слово на целевом языке не было присвоено индексу 0 . Тем не менее, этот вывод необходимо подавать в качестве ввода для следующего временного шага.
Может ли кто-нибудь объяснить, что здесь происходит?