ValueError - я не могу загрузить большую языковую модель falcon 7B в Google Colab

Я пытаюсь запустить falcon 7B в Google Colab и получаю следующую ошибку:

ValueError: не удалось загрузить модель tiiuae/falcon-7b-instruct ни с одним из следующих классов: (<class 'transformers.modeling_auto.AutoModelForCausalLM'>, <class 'transformers.models.auto.modeling_tf_auto.TFAutoModelForCausalLM'>).

¿Не могли бы вы помочь мне решить эту проблему? Спасибо за ваше время.

Я использую этот код, извлеченный из книги «Сокол приземлился в экосистеме Hugging Face »:

      from transformers import AutoTokenizer
import transformers
import torch

model = "tiiuae/falcon-7b-instruct"

tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = transformers.pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto",
)

sequences = pipeline(
"Write a poem about Valencia.",
max_length=200,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
)

for seq in sequences:
    print(f"Result: {seq['generated_text']}")

Я уже пробовал переустановить библиотеку Pytorch.

1 ответ

Я столкнулся с той же проблемой в Colab, и мне помогло переключение на экземпляр графического процессора (V100).
Вот форум с той же проблемой:https://huggingface.co/tiiuae/falcon-40b/discussions/3 .

Другие вопросы по тегам