ValueError - я не могу загрузить большую языковую модель falcon 7B в Google Colab
Я пытаюсь запустить falcon 7B в Google Colab и получаю следующую ошибку:
ValueError: не удалось загрузить модель tiiuae/falcon-7b-instruct ни с одним из следующих классов: (<class 'transformers.modeling_auto.AutoModelForCausalLM'>, <class 'transformers.models.auto.modeling_tf_auto.TFAutoModelForCausalLM'>).
¿Не могли бы вы помочь мне решить эту проблему? Спасибо за ваше время.
Я использую этот код, извлеченный из книги «Сокол приземлился в экосистеме Hugging Face »:
from transformers import AutoTokenizer
import transformers
import torch
model = "tiiuae/falcon-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto",
)
sequences = pipeline(
"Write a poem about Valencia.",
max_length=200,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
print(f"Result: {seq['generated_text']}")
Я уже пробовал переустановить библиотеку Pytorch.
1 ответ
Я столкнулся с той же проблемой в Colab, и мне помогло переключение на экземпляр графического процессора (V100).
Вот форум с той же проблемой:https://huggingface.co/tiiuae/falcon-40b/discussions/3 .