Загрузка модели формата защитных датчиков с помощью Hugging Face Transformers

Question

Я пытаюсь загрузить модель notstoic/pygmalion-13b-4bit-128g, используя библиотеку Transformers Hugging Face. Я столкнулся с проблемой при попытке загрузить модель, сохраненную в новом формате безопасных тензоров.

Вот код, который я использую:

      from transformers import LlamaForCausalLM, LlamaTokenizer

tokenizer = LlamaTokenizer.from_pretrained("path/to/model")
model = LlamaForCausalLM.from_pretrained("path/to/model", use_safetensors=True)

Однако этот код приводит к следующей ошибке:

      Traceback (most recent call last):
  File "/Users/maxhager/Projects2023/nsfw/model_run.py", line 4, in <module>
    model = LlamaForCausalLM.from_pretrained("path/to/model", use_safetensors=True)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/maxhager/.virtualenvs/nsfw/lib/python3.11/site-packages/transformers/modeling_utils.py", line 2449, in from_pretrained
    raise EnvironmentError(
OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory path/to/model.

Меня смущает эта ошибка, потому что я установил use_safetensors=True, поскольку модель хранится в формате безопасных тензоров. В каталоге модели (путь/к/модели) у меня есть следующие файлы:

• 4bit-128g.safetensors
• config.json
• поколение_config.json
• pytorch_model.bin.index.json
• Special_tokens_map.json
• токенизатор.json
• токенизатор.модель
• tokenizer_config.json

Похоже, что функция from_pretrained() не распознает формат безопасных тензоров и вместо этого ищет типичные форматы файлов (pytorch_model.bin, tf_model.h5 и т. д.).

Я был бы признателен, если бы кто-нибудь мог подсказать, почему это происходит и как мне успешно загрузить эту модель.