Трансформаторы — LLAMA2 13B — Ошибка ключа/ошибка атрибута

Question

Я пытаюсь загрузить и запустить модель LLAMA2 13B на своем локальном компьютере, однако не могу проверить какие-либо запросы из-за ошибки ключа/ошибки атрибута (см. прикрепленное изображение).

Моя машина имеет следующие характеристики:

• ЦП: AMD® Ryzen threadripper 3960x, 24-ядерный процессор × 48
• Память: 128 ГБ
• Графический процессор: NVIDIA Titan RTX

Есть идеи?

Заранее спасибо! Ваше здоровье

Answer 1

Ошибку нашел сам. Ссылка на мой источник здесь:https://github.com/huggingface/transformers/issues/12503 .

Входные данные должны быть тензорными, а не BatchEncoding.

Вы можете решить эту проблему, используя:

input.input_ids

или

kwargsкак**input

Итак, решение выглядит так:

      outputs = model.generate(**inputs, max_new_tokens=20)