Ошибка при запуске "config = RobertaConfig.from_pretrained(" /Absolute-path-to/BERTweet_base_transformers/config.json""

Question

Я пытаюсь запустить версию этого кода "трансформеры", чтобы использовать новую предварительно обученную модель BERTweet, и получаю сообщение об ошибке.

Следующие строки кода успешно запустились в моем блокноте Google Colab:

!pip install fairseq
import fairseq
!pip install fastBPE
import fastBPE

# download the pre-trained BERTweet model zipped file
!wget https://public.vinai.io/BERTweet_base_fairseq.tar.gz

# unzip the pre-trained BERTweet model files
!tar -xzvf BERTweet_base_fairseq.tar.gz

!pip install transformers
import transformers

import torch
import argparse

from transformers import RobertaConfig
from transformers import RobertaModel

from fairseq.data.encoders.fastbpe import fastBPE
from fairseq.data import Dictionary

Затем я попытался запустить следующий код:

# Load model
config = RobertaConfig.from_pretrained(
    "/Absolute-path-to/BERTweet_base_transformers/config.json"
)
BERTweet = RobertaModel.from_pretrained(
    "/Absolute-path-to/BERTweet_base_transformers/model.bin",
    config=config
)

... и отобразилась ошибка:

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
/usr/local/lib/python3.6/dist-packages/transformers/configuration_utils.py in get_config_dict(cls, pretrained_model_name_or_path, **kwargs)
    242             if resolved_config_file is None:
--> 243                 raise EnvironmentError
    244             config_dict = cls._dict_from_json_file(resolved_config_file)

OSError: 

During handling of the above exception, another exception occurred:

OSError                                   Traceback (most recent call last)
2 frames
/usr/local/lib/python3.6/dist-packages/transformers/configuration_utils.py in get_config_dict(cls, pretrained_model_name_or_path, **kwargs)
    250                 f"- or '{pretrained_model_name_or_path}' is the correct path to a directory containing a {CONFIG_NAME} file\n\n"
    251             )
--> 252             raise EnvironmentError(msg)
    253 
    254         except json.JSONDecodeError:

OSError: Can't load config for '/Absolute-path-to/BERTweet_base_transformers/config.json'. Make sure that:

- '/Absolute-path-to/BERTweet_base_transformers/config.json' is a correct model identifier listed on 'https://huggingface.co/models'

- or '/Absolute-path-to/BERTweet_base_transformers/config.json' is the correct path to a directory containing a config.json file

Я предполагаю, что проблема в том, что мне нужно заменить "/Absolute-path-to" на что-то еще, но если это так, то чем его следует заменить? Вероятно, это очень простой ответ, и я чувствую себя глупо, спрашивая, но мне нужна помощь.

Answer 1

Прежде всего, вам необходимо загрузить соответствующий пакет, как описано в файле readme на github:

!wget https://public.vinai.io/BERTweet_base_transformers.tar.gz

!tar -xzvf BERTweet_base_transformers.tar.gz

После этого вы можете щелкнуть значок каталога (в левой части экрана) и просмотреть загруженные данные:

Щелкните правой кнопкой мыши BERTweet_base_transformers, выберите copy path и вставьте содержимое из буфера обмена в свой код:

config = RobertaConfig.from_pretrained(
    "/content/BERTweet_base_transformers/config.json"
)

BERTweet = RobertaModel.from_pretrained(
    "/content/BERTweet_base_transformers/model.bin",
    config=config
)