Это нормально, что RNN/LSTM/GRU имеет отрицательный вклад
Я искал объяснение в Интернете, но не смог его найти. Давайте поговорим о конкретном временном шаге RNN. Предположим, у нас есть отрицательный вклад в этой точке, скажем, x(t) = (-2,4,-4), и мы также предполагаем, что размер состояния 5 равен h(t-1). Для входного вентиля это x (t) и h (t-1) дает входной вектор 8, который умножается на весовую матрицу входного вентиля размером 8x5, которая в итоге дает новое состояние h(t) размера 5. Моему понимание того, что некоторые значения h(t) могут стать отрицательными из-за отрицательного умножения входных данных с матрицей Уайта. Теперь, если это отрицательное значение передается через активацию (скажем, сигмоид), не делает ли это значения нулевыми? И, следовательно, нет ли шанса стереть входную информацию? Это может быть верно для всех ворот, я только что упомянул входные ворота. Мой вопрос заключается в том, можно ли оставить отрицательные входные данные такими, какие они есть, или целесообразно предварительно обработать их некоторым положительным диапазоном перед подачей в rnn / lstms? Спасибо