Ошибка при загрузке квантованной модели BERT из локального репозитория

Question

После квантования модели BERT она работает без проблем. Но если я сохраню квантованную модель и загружу, она не сработает. Отображается сообщение об ошибке: объект LinearPackedParams не имеет атрибута _modules. Я использовал то же устройство для сохранения и загрузки квантованной модели.

      model = SentenceTransformer('bert-base-nli-mean-tokens')
model.encode(sentences)
quantized_model = torch.quantization.quantize_dynamic(
                model, {torch.nn.Linear}, dtype=torch.qint8)
quantized_model.encode(sentences) ```



torch.save(quantized_model, 
       "/PATH/TO/DESTINATION/Base_bert_quant.pt")
model=torch.load("/SAME/PATH/Base_bert_quant.pt")
model.encode(sentences) #shows the error