Каким должен быть правильный размер вывода слоя внимания?
Я строю модель слоя внимания LSTM+. Согласно моему пониманию слой внимания присваивает веса каждому слову входной последовательности. Следовательно, вывод уровня внимания должен быть (Нет,280). Тем не менее, я получаю (Нет, 240), что означает, что уровень внимания изучает внимание над скрытыми состояниями LSTM.
Куда я здесь не так?
MAX_SEQUENCE_LENGTH=140
EMBEDDING_DIM = 300
model = Sequential()
model.add(Embedding(len(word_index) + 1,
EMBEDDING_DIM,
weights=[embedding_matrix],
input_length=MAX_SEQUENCE_LENGTH,
trainable=False))
model.add(Bidirectional(CuDNNLSTM(120, return_sequences=True), input_shape=
(train_X.shape[1], EMBEDDING_DIM)))
model.add(Attention(MAX_SEQUENCE_LENGTH))
# model.add(Flatten())
model.add(Dense(100,activation='relu'))
model.add(Dense(1, activation='sigmoid'))
print(model.summary())
Слой (тип) --- Форма выхода --- Параметр #
embedding_1 (Embedding) ---- (Нет, 140, 300) --- 45720000
двунаправленный_1 (двунаправленный (Нет, 140, 240) --- 405120
Внимание_1 (Внимание) --- (Нет, 240) --- 380
density_1 (Плотный) --- (Нет, 100) --- 24100
density_2 (Плотный) --- (Нет, 1) --- 101
Всего параметров: 46 499 701 Обучаемые параметры: 429 701 Необучаемые параметры: 45,720 000
Никто