Как использовать скрипт для преобразования трансформатора pytorch?
Я пытаюсь скомпилировать трансформатор pytorch, чтобы запустить его на C++:
from torch.nn import TransformerEncoder, TransformerEncoderLayer
encoder_layers = TransformerEncoderLayer(1000, 8, 512, 0.1)
transf = TransformerEncoder(encoder_layers, 6)
sm = torch.jit.script(transf)
Но я получаю сообщение об ошибке:
RuntimeError: Expected a default value of type Tensor on parameter
"src_mask": File "C:\Program Files (x86)\Microsoft Visual
Studio\Shared\Python36_64\lib\site-packages\torch\nn\modules\transformer.py",
line 271
def forward(self, src, src_mask=None, src_key_padding_mask=None):
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~... <--- HERE
r"""Pass the input through the encoder layer.
Похоже, что-то не так с модулем трансформатора pytorch.
Есть ли способ запустить трансформатор pytorch на C++?
1 ответ
Решение
Вам необходимо перейти на PyTorch 1.5.0, более старые версии не поддерживали преобразование Transformers в модули TorchScript (JIT).
pip install torch===1.5.0 -f https://download.pytorch.org/whl/torch_stable.html
В 1.5.0 вы увидите некоторые предупреждения о параметрах, объявленных как константы, например:
UserWarning: 'q_proj_weight' was found in ScriptModule constants, but it is a non-constant parameter. Consider removing it.
Их можно игнорировать.