Описание тега llama
LLaMA (Large Language Model Meta AI) — это большая языковая модель (LLM), выпущенная Meta AI.
0
ответов
Целесообразность использования Falcon/Falcoder/Llama2 LLM при попытке использовать его на экземплярах AWS EC2 Inferentia 2.8xlarge и G4dn.8xLarge.
Можно ли сделать выводы на вышеупомянутых машинах, поскольку в Inf2 с моделью Falcon мы сталкиваемся со многими проблемами? Контекст: Мы столкнулись с проблемами при использовании Falcon/Falcoder на машине Inf2.8xl. Нам удалось успешно провести тот …
03 авг '23 в 05:49
1
ответ
Запуск LLama2 на машине GeForce 1080 8Gb
Я пытаюсь запустить LLama2 на своем сервере, на котором упоминается карта nvidia. Это простой кейс «Привет, мир», который вы можете найти здесь . Однако я постоянно сталкиваюсь с проблемами с памятью: torch.cuda.OutOfMemoryError: CUDA out of memory.…
13 авг '23 в 06:40
0
ответов
ошибка загрузки модели: Ошибка MapViewOfFile: недостаточно ресурсов памяти для обработки этой команды
Характеристики ПК: ryzen 5700x,32 ГБ ОЗУ, 100 ГБ свободного места на SD-карте, rtx 3060, 12 ГБ видеопамяти Я пытаюсь запустить локально модель lama-7b-chat. Выполнил все инструкции, сначала преобразовал модель в формат ggml FP16. python convert.py .…
22 авг '23 в 14:33
0
ответов
Как мне устранить эту ошибку в LLaMA: TypeError: __init__() получил неожиданный аргумент ключевого слова «квантизатор»?
Когда я запускал код LLaMA, я столкнулся с этой ошибкой: TypeError: init() получил неожиданный аргумент ключевого слова «квантизатор», и я не знаю, как ее устранить. Я проверил совместимость версий. Пожалуйста, помогите мне придумать возможные решен…
02 авг '23 в 03:31
1
ответ
Получение ошибки версии Peft при точной настройке Autotrain на Llama 2
Я провел тонкую настройку Llama 2 с помощью Autotrain в Google Colab. это образец текстового столбца для точной настройки ###Human: Here is the OCR Text extracted from a VHS tape cover. Yes, the text is surely extracted from a VHS tape, but it may h…
20 авг '23 в 17:30
0
ответов
Формат LLama 2 Вывод не анализируется правильно
Я столкнулся с трудностями при получении ответа на мой запрос после нескольких попыток. В настоящее время я впервые использую LLama 2 вместе с LangChain. Проблема, с которой я столкнулся, связана с извлечением ответа от LLama в форме JSON или списка…
31 авг '23 в 14:47
0
ответов
нехватка памяти при запуске модели llama2-13b-chat на машине с несколькими графическими процессорами
Я пытаюсь запустить модель llama2 13b с веревочным масштабированием на машине AWS g4dn.12xlarge с 4 графическими процессорами по 16 ГБ видеопамяти каждый, но возникает ошибка cuda из памяти. Код: from transformers import AutoModelForCausalLM, AutoTo…
10 авг '23 в 01:28
1
ответ
Как использовать decapoda-research/llama-7b-hf с тонкой настройкой LoRA в LLaMA.cpp?
В настоящее время после тонкой настройки модели decapoda-research/llama-7b-hf с помощью инструмента https://github.com/zetavg/LLaMA-LoRA-Tuner . Теперь я пытаюсь использовать его в LLaMA.cpp с помощью руководства: https://github.com/ggerganov/llama.…
09 авг '23 в 17:25
0
ответов
Невозможно очистить память графического процессора даже после удаления переменных при использовании модели Llama 2.
У меня возникли проблемы с очисткой памяти графического процессора после загрузки модели Llama 2 в конвейер. очистка памяти графического процессора отлично работает на других моделях (например, delvariables, torch.cuda.empty_cache()), но, похоже, он…
14 авг '23 в 14:18
0
ответов
Точная настройка Llama 2-7B с использованием PDF-документа в Sagemaker
Может ли кто-нибудь дать мне идеи о том, как точно настроить модель Llama 2-7B в Sagemaker с использованием нескольких PDF-документов? На данный момент я использовал pypdf и извлек текст из PDF, но не знаю, что делать дальше. Даже в документации AWS…
24 авг '23 в 09:51
1
ответ
HuggingfacePipeline с Ламой-2-7b-hf
Я пытаюсь запустить мета-ламу/Llama-2-7b-hf на langchain с помощью HuggingfacePipeline. Моя установка ниже. Почему в llm загружена модель gpt2. Я считаю, что gpt2 используется по умолчанию для HuggingfacePipeline(), но я передаю модель с помощью Tra…
30 авг '23 в 02:46
1
ответ
Трансформаторы — LLAMA2 13B — Ошибка ключа/ошибка атрибута
Я пытаюсь загрузить и запустить модель LLAMA2 13B на своем локальном компьютере, однако не могу проверить какие-либо запросы из-за ошибки ключа/ошибки атрибута (см. прикрепленное изображение). Моя машина имеет следующие характеристики: ЦП: AMD® Ryze…
30 авг '23 в 09:18
1
ответ
Использование langchain для передачи текста в SQL с использованием специального API llm
Я пытаюсь использовать свою модель llama2 (представленную как API с использованием ollama). Я хочу поговорить с агентом ламы и запросить мою базу данных Postgres (т.е. сгенерировать текст в sql). Мне удалось найти код langchain, который использует д…
29 авг '23 в 03:19
0
ответов
Точная настройка llama2 на cuda:1
Когда я загружаю модель, я использую device_map для использования cuda:1, но кажется, что модель и обучение находятся на разных ядрах. Как мне правильно это сделать? Код, работающий на Tesla T4 ниже: # load the base model in 4-bit quantization bnb_c…
18 авг '23 в 13:53
2
ответа
Точная настройка модели TheBloke/Llama-2-13B-chat-GPTQ с помощью библиотеки Hugging Face Transformers выдает ошибку Exllama.
Я пытаюсь настроить модель TheBloke/Llama-2-13B-chat-GPTQ, используя библиотеку Hugging Face Transformers. Я использую файл JSON для наборов данных обучения и проверки. Однако при попытке запустить скрипт я сталкиваюсь с ошибкой, связанной с серверн…
26 авг '23 в 13:57
0
ответов
Как удалить модели GPT, управление использованием хранилища для установленных моделей и пакетов GPT
Я установил несколько моделей генеративного предварительно обученного преобразователя (GPT) в свою локальную систему для целей тонкой настройки как внутри Python в коде Visual Studio, так и через окно командной строки во время выполнения кода. Устан…
05 авг '23 в 09:59
1
ответ
Есть ли способ позволить префиксу langchain.memory удалить ":" и сначала добавить только "[INST]" и добавить "[/INST]" в историю человека?
Я использую llama2, и его подсказки имеют формат, позволяющий модели знать о таком разговоре. [INST] {First_human_input} [/INST] {First_model_output} [INST] {Second_human_input}[/INST] но память в langchain по умолчанию такая Human: First_input AI: …
23 авг '23 в 09:57
1
ответ
Нужен ли мне графический процессор для запуска примеров кода Python LLama2 после загрузки модели из мета?
Скачиваю модель LLama2 из мета и не могу ее запустить из-за ощущения, что мне нужен графический процессор. Сейчас у меня нет графического процессора, и пример не работает. Бард настаивает на том, что мне не нужен графический процессор, также я читал…
11 авг '23 в 10:53
1
ответ
Точная настройка модели LlaMA 7B с использованием Pytorch Lightning Framework
Need Expert help to solve this issue. LLaMA 7B model for sentiment classification with instructional Finetuning. import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader from transformers import LlamaTokenizer, LlamaForCa…
03 июн '23 в 04:54
2
ответа
Почему версия Llama 2 7b работает, а версия 70b — нет?
Я использую что-то похожее на это для запуска Llama 2. from os.path import dirname from transformers import LlamaForCausalLM, LlamaTokenizer import torch model = "/Llama-2-70b-chat-hf/" # model = "/Llama-2-7b-chat-hf/" tokenizer = LlamaTokenizer.fro…
08 авг '23 в 21:14