Я хочу спросить вас о структуре «запрос, ключ, значение» «преобразователя»

Question

Я новичок в НЛП. Итак, я пытаюсь воспроизвести самый простой код преобразователя, который вам нужен.

Но у меня возник вопрос при выполнении.

В слое MultiHeadAttention я распечатал форму «запрос, ключ, значение». Однако были напечатаны разные формы «запрос» и «ключ, значение». «внимание к себе» в конечном итоге находит корреляцию с самим собой, которое отличается». Я не понимаю формы «запрос, ключ, значение».

введите здесь описание изображения . Значение «query, key, value» исходит из src, но почему значения разные?введите описание изображения здесь

введите описание изображения здесь

Я взял код отсюда.

https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice/blob/master/code_practices/Attention_is_All_You_Need_Tutorial_(немецкий_английский).ipynb