Описание тега llama-cpp-python
0
ответов
Формат LLama 2 Вывод не анализируется правильно
Я столкнулся с трудностями при получении ответа на мой запрос после нескольких попыток. В настоящее время я впервые использую LLama 2 вместе с LangChain. Проблема, с которой я столкнулся, связана с извлечением ответа от LLama в форме JSON или списка…
31 авг '23 в 14:47
0
ответов
Выводы LLAMA-2 13B
Я делал выводы о LLAMA-13B и внезапно возникла следующая ошибка: --------------------------------------------------------------------------- AssertionError Traceback (most recent call last) <ipython-input-5-7820a34f7358> in <cell line: 3>…
26 авг '23 в 03:41
1
ответ
Очень медленный ответ от механизма запросов вопросов и ответов на основе LLM
Я создал бот для запросов вопросов и ответов на основе CSV-файла размером 4 МБ, который у меня есть в моем локальном хранилище. Я использую цветность для создания векторной базы данных, а модель внедрения — Instructor Large из обнимающего лица, а мо…
24 авг '23 в 06:42
0
ответов
Невозможно установить модуль llamacpp, предоставленный langchain.
n_gpu_layers = 32 # Change this value based on your model and your GPU VRAM pool. n_batch = 256 # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU. # Loading model, llm = LlamaCpp( model_path="/root/.cache/huggingface/hub/mode…
30 авг '23 в 05:01
2
ответа
AssertionError при использовании llama-cpp-python в Google Colab
Я пытаюсь использовать llama-cpp-python (оболочку Python для llama.cpp) для выполнения вывода с использованием Llama LLM в Google Colab. Мой код выглядит следующим образом: !pip install llama-cpp-python from llama_cpp import ChatCompletionMessage, L…
27 авг '23 в 09:21
0
ответов
Квантованная модель llama2 13B дает противоречивые результаты
Немного контекста: я только начал использовать модель из Hugging Face, thebloke\llama-2-13b-chat.Q5_K_M.gguf. Я использую его через привязки llama_cpp в Python и использую 1 графический процессор. Моя цель: извлечь плюсы и минусы из обзоров ресторан…
25 окт '23 в 20:21
0
ответов
PandasQueryEngine из llama-index не может выполнить код со следующей ошибкой: неверный синтаксис (строка 0)
У меня есть следующий код. Я пытаюсь использовать локальную модель llama2-chat-13B. Инструкции кажутся хорошими, но окончательный результат выдает ошибку. import logging import sys from IPython.display import Markdown, display import pandas as pd fr…
08 ноя '23 в 12:57
0
ответов
Графический процессор не используется даже после указания gpu_layers в ctransformers.
Я установил ctransformers, используя - pip install ctransformers[cuda] Я пытаюсь выполнить следующий фрагмент кода - from langchain.llms import CTransformers config = {'max_new_tokens': 512, 'repetition_penalty': 1.1, 'context_length': 8000, 'temper…
17 окт '23 в 05:04
0
ответов
Как я могу установить llama-cpp-python с cuBLAS, используя поэзию?
Я могу установить llama cpp с помощью cuBLAS, используя pip, как показано ниже: CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python Однако я не знаю, как установить его с помощью cuBLAS при использовании поэзии. Установка возмо…
23 ноя '23 в 02:43
1
ответ
Невозможно установить пакет llama-cpp-python в Python — процесс сборки колеса зависает
Я пытаюсь установить пакет на Python, но столкнулся с проблемой, из-за которой процесс сборки колеса зависает. Вот команда, которую я использую для установки пакета: pip3 install llama-cpp-python На этом этапе процесс застревает: Building wheel for …
29 окт '23 в 18:52
0
ответов
Llama-2, Q4-время отклика квантованной модели на разных процессорах
Я запускаю квантованную модель ламы-2 отсюда . Я использую 2 разные машины. Intel(R) Core(TM) 11-го поколения i7-1165G7 @ 2,80 ГГц 2,80 ГГц 16,0 ГБ (используется 15,8 ГБ) Время вывода на этой машине довольно хорошее. Я получаю желаемый ответ через 3…
29 ноя '23 в 11:56
0
ответов
обратные вызовы langchain StreamingStdOutCallbackHandler удаляет символ новой строки
Нам удалось получить потоковый ответ от LlamaCpp, используяstreaming=True и CallbackManager([StreamingStdOutCallbackHandler()]). Но проблема в том, что выводимый поток не содержит символов новой строки, из-за чего текст потокового вывода выглядит ка…
29 сен '23 в 09:15
0
ответов
Как использовать CodeLlama с Langchain
Я пытаюсь написать простую программу, используя codeLlama и LangChain. Но это не дает удовлетворительного результата. И каждый раз, когда мы запускаем эту программу, она выдает разные результаты. используемая модель : -https://huggingface.co/TheBlok…
07 окт '23 в 15:48
0
ответов
Нет поддержки графического процессора при запуске llama-cpp-python внутри контейнера докеров.
Я пытаюсь запустить индекс ламы с помощью llama cpp, следуя документации по установке, но внутри контейнера докера. После этого репозитория для установки llama_cpp_python==0.2.6. ДОКЕРФАЙЛ # Use the official Python image for Python 3.11 FROM python:…
23 ноя '23 в 06:09
0
ответов
llama-index: несколько вызовов query_engine.query всегда дают «Пустой ответ»
У меня есть следующий код, который работает так, как ожидалось model_url = "https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/resolve/main/llama-2-13b-chat.Q4_0.gguf" llm = LlamaCPP(model_url=model_url,temperature=0.1,max_new_tokens=256,context_…
14 ноя '23 в 01:05
0
ответов
Модель GGUF работает медленнее по сравнению с GGMLv3, основанной на той же базовой модели.
Я сравниваю производительность двух экземпляров модели Wizardlm-13b, которую я скачал с HuggingFace. Я обнаружил, что версия модели GGUF работает в 4 раза медленнее, чем версия GGMLv3. Насколько я могу судить, это обе 4-битные квантованные модели, п…
01 дек '23 в 19:14
0
ответов
Загрузка модели LLAMA-2 не удалась.
Я получил токен от Huggingface и смог войти в систему с помощью Huggingface-cli. Я также получил разрешение на загрузку модели 7B-hf. Когда я начал прогон вывода, загрузка модели началась хорошо, но теперь она зависла.Mapи оно не завершается. Что я …
14 окт '23 в 06:00
0
ответов
Отсутствует файл main.exe при установке модели llama2.
Я пытаюсь установить языковую модель под названием llama2 отсюда . Следовал этому руководству с некоторыми необходимыми корректировками (см. воспроизводимость ниже), но на шаге 7 он хочет использовать файл Main.exe, которого там нет. Я просмотрел не…
19 окт '23 в 13:32
0
ответов
Питон, Лама (местно). Создание бота Telegram с использованием llama_cpp. Бот не отвечает ни на какие команды и запросы
Питон, Лама (местно). Я создаю бота Telegram, используя llama_cpp. Бот не отвечает ни на какие команды и запросы. Сам код pycharm ошибок не выдает, но бот не отвечает на команды и сообщения. ПОМОГИ ПОЖАЛУЙСТА. Используется библиотека айограмм версии…
14 сен '23 в 06:20