Как использовать скрипт для преобразования трансформатора pytorch?

Я пытаюсь скомпилировать трансформатор pytorch, чтобы запустить его на C++:

from torch.nn import TransformerEncoder, TransformerEncoderLayer
encoder_layers = TransformerEncoderLayer(1000, 8, 512, 0.1)
transf = TransformerEncoder(encoder_layers, 6)
sm = torch.jit.script(transf)

Но я получаю сообщение об ошибке:

RuntimeError:  Expected a default value of type Tensor on parameter
"src_mask":   File "C:\Program Files (x86)\Microsoft Visual
Studio\Shared\Python36_64\lib\site-packages\torch\nn\modules\transformer.py",
line 271
    def forward(self, src, src_mask=None, src_key_padding_mask=None):
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~... <--- HERE
        r"""Pass the input through the encoder layer.

Похоже, что-то не так с модулем трансформатора pytorch.

Есть ли способ запустить трансформатор pytorch на C++?

1 ответ

Решение

Вам необходимо перейти на PyTorch 1.5.0, более старые версии не поддерживали преобразование Transformers в модули TorchScript (JIT).

pip install torch===1.5.0 -f https://download.pytorch.org/whl/torch_stable.html

В 1.5.0 вы увидите некоторые предупреждения о параметрах, объявленных как константы, например:

UserWarning: 'q_proj_weight' was found in ScriptModule constants,  but it is a non-constant parameter. Consider removing it.

Их можно игнорировать.

Другие вопросы по тегам