AttributeError: объект 'GPT2TokenizerFast' не имеет атрибута 'max_len'

Question

Я просто использую библиотеку преобразователя huggingface и при запуске run_lm_finetuning.py получаю следующее сообщение: AttributeError: объект 'GPT2TokenizerFast' не имеет атрибута 'max_len'. У кого-нибудь еще есть эта проблема или есть идея, как ее исправить? Спасибо!

Мой полный эксперимент: эксперименты с mkdir

для эпохи в 5 сделать питон run_lm_finetuning.py
--model_name_or_path distilgpt2
--model_type gpt2
--train_data_file small_dataset_train_preprocessed.txt
--output_dir эксперименты / epochs_ $ эпоха
--do_train
--overwrite_output_dir
--per_device_train_batch_size 4
--num_train_epochs $ эпоха сделано

Answer 1

У объекта «AttributeError: 'BertTokenizerFast' нет атрибута 'max_len'» Проблема Github содержит исправление:

В run_language_modeling.py сценарий устарел в пользу language-modeling/run_{clm, plm, mlm}.py.

В противном случае исправление состоит в том, чтобы изменить max_len к model_max_length.

Answer 2

Я использую эту команду, чтобы решить эту проблему.

      pip install transformers==3.0.2