Описание тега llamacpp
0
ответов
ошибка загрузки модели: Ошибка MapViewOfFile: недостаточно ресурсов памяти для обработки этой команды
Характеристики ПК: ryzen 5700x,32 ГБ ОЗУ, 100 ГБ свободного места на SD-карте, rtx 3060, 12 ГБ видеопамяти Я пытаюсь запустить локально модель lama-7b-chat. Выполнил все инструкции, сначала преобразовал модель в формат ggml FP16. python convert.py .…
22 авг '23 в 14:33
1
ответ
Как использовать decapoda-research/llama-7b-hf с тонкой настройкой LoRA в LLaMA.cpp?
В настоящее время после тонкой настройки модели decapoda-research/llama-7b-hf с помощью инструмента https://github.com/zetavg/LLaMA-LoRA-Tuner . Теперь я пытаюсь использовать его в LLaMA.cpp с помощью руководства: https://github.com/ggerganov/llama.…
09 авг '23 в 17:25
0
ответов
Выводы LLAMA-2 13B
Я делал выводы о LLAMA-13B и внезапно возникла следующая ошибка: --------------------------------------------------------------------------- AssertionError Traceback (most recent call last) <ipython-input-5-7820a34f7358> in <cell line: 3>…
26 авг '23 в 03:41
0
ответов
Невозможно установить модуль llamacpp, предоставленный langchain.
n_gpu_layers = 32 # Change this value based on your model and your GPU VRAM pool. n_batch = 256 # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU. # Loading model, llm = LlamaCpp( model_path="/root/.cache/huggingface/hub/mode…
30 авг '23 в 05:01
2
ответа
AssertionError при использовании llama-cpp-python в Google Colab
Я пытаюсь использовать llama-cpp-python (оболочку Python для llama.cpp) для выполнения вывода с использованием Llama LLM в Google Colab. Мой код выглядит следующим образом: !pip install llama-cpp-python from llama_cpp import ChatCompletionMessage, L…
27 авг '23 в 09:21
0
ответов
Развертывание приложения с зависимостью llama-cpp-python на Vercel
Не могу развернуть мое приложение, для которого требуется llama-cpp-python (извините, если вопрос для новичка): (venv) bacelar@bnr:~/www/2023/python/<app>$ vercel --force Vercel CLI 30.2.3 Inspect: https://vercel.com/<account> [1s] Error…
30 июн '23 в 12:13
0
ответов
Как исправить «type=value_error» при загрузке модели мастера-викуна в PrivateGPT?
Я следую руководству по установке PrivateGPT и возможности запрашивать у LLM мои локальные документы. я используюwizard-vicuna-13B.ggmlv3.q4_1.bin model и согласно README.md изменил настройки файла example.env на новый файл .env: из PERSIST_DIRECTOR…
11 июл '23 в 20:53
0
ответов
CMAKE LLAMA CPP Binding PIP Установка выдает ошибку
Пытаюсь установить llama-cpp-python, как показано на MAC, с помощью METAL. Однако выдает следующую ошибку, как показано на снимке экрана. Может ли кто-нибудь помочь? https://python.langchain.com/docs/integrations/llms/llamacpp
22 авг '23 в 06:48
2
ответа
Не удалось загрузить модель ламы по пути: ./Models/llama-7b.ggmlv3.q2_K.bin. Получена ошибка. Llama.__init__() получила неожиданный аргумент ключевого слова «input».
from langchain.llms import LlamaCpp from langchain import PromptTemplate, LLMChain from langchain.callbacks.manager import CallbackManager from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler template = """Question: {ques…
11 авг '23 в 10:06
0
ответов
langchain с локальным медленным выводом llama2
Я использую Langchain с llama-2-13B . Я установил llama2 на машине AWS с 240 ГБ ОЗУ и 4 графическими процессорами Tesla V100 по 16 ГБ . Чтобы сделать вывод, требуется около 20 секунд. Я хочу сделать это быстрее, примерно за 8-10 секунд, чтобы сделат…
28 ноя '23 в 15:06
0
ответов
Как преобразовать в формат gguf с помощью файла tokenizer.json?
Я попытался преобразовать модель ELYZA-japanese-Llama-2-7b-fast-instruct в формат GGUF для развертывания с помощью llama.cpp. Но репозиторий Hugginface не включает файл tokenizer.model, который необходим для преобразования процесса. Но у них есть фа…
06 окт '23 в 10:02
0
ответов
Неожиданный непрерывный диалог от модели LlamaCpp в LangChain
Я использую модель TheBloke/Llama-2-13B-chat-GGUF с LangChain и экспериментирую с наборами инструментов. Я заметил, что модель, кажется, продолжает разговор сама по себе, генерируя несколько поворотов диалога без дополнительных входных данных. Я пыт…
29 окт '23 в 13:37
0
ответов
llama.cpp llama_cublas включен, но при запуске ./main используется только 75 МБ/6 ГБ видеопамяти
Я включил llama_cublas для работы с набором инструментов nvidia cuda. make LLAMA_CUBLAS=1 Скомпилировалось нормально Но когда я запускаю модель и отслеживаю потребление памяти nvidia-smi, используется только 75 МБ. См. ниже. llm_load_tensors: using …
24 окт '23 в 18:03
0
ответов
codellama неоднократно генерирует символ новой строки
Я использую Langchain с codellama, используя Llama.cpp. (обнимающее лицо - TheBloke/CodeLlama-34B-Instruct-GPTQ) У меня в устройстве 4 Testla T4. Я установил Llama.cpp с OpenBLAS. Когда я загружаю модель с помощью файла hgguf, я вижу параметр BLAS=1…
30 окт '23 в 05:36
1
ответ
Как запустить Llama.cpp с CuBlas в Windows?
Я использовал Llama.cpp и запускал модель на своем Mac (только процессор), но теперь я хотел переключиться на Windows и запустить ее на графическом процессоре, но когда я пытаюсь собрать CuBlas, я не могу выполнить ./main или ./ файл сервера вообще.…
12 окт '23 в 01:01
0
ответов
Я пытаюсь интегрировать модель LLAMA-2 локально, используя nextjs и Node js. получение ошибки Ошибка анализа JSON: Ошибка: появление НЕИЗВЕСТНО
Я создал прокси-сервер в Node js в своем следующем js-приложении и вызываю его через выборку. Ниже приведен код для вызова прокси-сервера const output = await fetch("/api/llamax", { method: 'POST', // or 'GET' depending on your API headers: { 'Conte…
14 ноя '23 в 02:07
0
ответов
Нет поддержки графического процессора при запуске llama-cpp-python внутри контейнера докеров.
Я пытаюсь запустить индекс ламы с помощью llama cpp, следуя документации по установке, но внутри контейнера докера. После этого репозитория для установки llama_cpp_python==0.2.6. ДОКЕРФАЙЛ # Use the official Python image for Python 3.11 FROM python:…
23 ноя '23 в 06:09
0
ответов
llama-index: несколько вызовов query_engine.query всегда дают «Пустой ответ»
У меня есть следующий код, который работает так, как ожидалось model_url = "https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/resolve/main/llama-2-13b-chat.Q4_0.gguf" llm = LlamaCPP(model_url=model_url,temperature=0.1,max_new_tokens=256,context_…
14 ноя '23 в 01:05