Описание тега llm
Общий тег для предметов, связанных с моделью большого языка (LLM). Пожалуйста, ВСЕГДА используйте более конкретные теги, если они доступны (варианты GPT, PaLM, LLaMa, BLOOM, Claude и т. д.).
0
ответов
Целесообразность использования Falcon/Falcoder/Llama2 LLM при попытке использовать его на экземплярах AWS EC2 Inferentia 2.8xlarge и G4dn.8xLarge.
Можно ли сделать выводы на вышеупомянутых машинах, поскольку в Inf2 с моделью Falcon мы сталкиваемся со многими проблемами? Контекст: Мы столкнулись с проблемами при использовании Falcon/Falcoder на машине Inf2.8xl. Нам удалось успешно провести тот …
03 авг '23 в 05:49
1
ответ
Как сгенерировать текст, используя модель GPT2 с преобразователями Huggingface?
Я хотел использовать GPT2Tokenizer, AutoModelForCausalLM для генерации (переписывания) образца текста. я пыталсяtransformers==4.10.0,transformers==4.30.2и--upgrade git+https://github.com/huggingface/transformers.git, однако я получаю ошибкуAttribute…
11 июл '23 в 15:10
0
ответов
Как получить желаемый результат от LLM «Обнимающее лицо»?
Чего я хочу: я хочу создавать синтетические обзоры, например, «Медсестры». Что я использую: я использую open_llama_7b LLM от Hugging face для создания обзоров. Подсказка, которую я использую: «Ваша задача — создать 10 отзывов медсестер о том, как он…
22 авг '23 в 12:20
0
ответов
Как добавить полнотекстовый поиск в llamaindex
Я делаю чат-бота, способного обсуждать фильмы с помощью langchain и llamaindex. Я следую этому руководству . Я бы хотел, чтобы llamaindex выполнял не только поиск по векторному knn, но и добавлял некоторые результаты на основе прямых попаданий по кл…
02 сен '23 в 09:53
0
ответов
нехватка памяти при запуске модели llama2-13b-chat на машине с несколькими графическими процессорами
Я пытаюсь запустить модель llama2 13b с веревочным масштабированием на машине AWS g4dn.12xlarge с 4 графическими процессорами по 16 ГБ видеопамяти каждый, но возникает ошибка cuda из памяти. Код: from transformers import AutoModelForCausalLM, AutoTo…
10 авг '23 в 01:28
0
ответов
Проект тонкой настройки LLM для создания чат-бота, отвечающего на вопросы, с использованием обнимающих преобразователей в наборе табличных данных.
Я работаю над проектом по созданию чат-бота, который может ответить на простой вопрос из моего пользовательского набора данных, какой набор табличных данных состоит из 349 строк и 6 столбцов. Когда я попытался запустить свой код после импорта необхо…
25 авг '23 в 07:38
0
ответов
Как я могу разделить файл CSV, прочитанный в langchain
это создано дляlangchain from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter=RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=20, length_function=len) теперь мне нужно прочитать файл csv import csv with open(…
04 авг '23 в 05:28
1
ответ
StableLM отвечает слишком медленно на виртуальной машине GCP с графическим процессором
Я установил StableLM на виртуальную машину GCP со следующими характеристиками: 1 x NVIDIA Tesla P4, 8 виртуальных ЦП — 30 ГБ памяти. И я установил параметры модели. Но ответы на вопросы занимают слишком много времени, ~8 минут. Это было быстрее даже…
22 авг '23 в 13:20
0
ответов
Точная настройка Llama 2-7B с использованием PDF-документа в Sagemaker
Может ли кто-нибудь дать мне идеи о том, как точно настроить модель Llama 2-7B в Sagemaker с использованием нескольких PDF-документов? На данный момент я использовал pypdf и извлек текст из PDF, но не знаю, что делать дальше. Даже в документации AWS…
24 авг '23 в 09:51
1
ответ
использовать индекс ламы для создания вложений для коммерческого трубопровода
У меня есть код Python 3 ниже. В коде я использую llama_index из мета для создания индексного объекта из моего собственного текстового корпуса. Затем я передаю запросы этому индексному объекту, чтобы получить ответы от чата openai, используя мой доп…
09 июн '23 в 18:00
0
ответов
Ошибка конвейера обнимания лица от langchain PydanticUserError:
У меня возникает следующая ошибка при попытке загрузить конвейер обнимающего лица из langchain PydanticUserError: если вы используете pre=False (по умолчанию), вы ДОЛЖНЫ указатьskip_on_failure=True. Обратите внимание, что@root_validatorустарел и дол…
11 июл '23 в 08:02
1
ответ
Ошибка при развертывании модели LLM в конечной точке sagemaker. пожалуйста, дайте решение, любое известное
#033[2m2023-07-31T06:58:11.298494Z#033[0m #033[31mERROR#033[0m #033[2mtext_generation_launcher#033[0m#033[2m:#033[0m Download encountered an error: Traceback (most recent call last): File "/opt/conda/bin/text-generation-server", line 8, in <modu…
31 июл '23 в 10:20
0
ответов
Проблема с входными данными в маршрутизации MultiPromptChain — проблема с отсутствующими входными ключами
Я использую несколько цепочек RetrivalQA, каждая из которых имеет разные инструкции по форматированию и шаблоны подсказок. Чтобы справиться с этим, я использую MultiPromptChain из langchain, чтобы определить, в какую цепочку направлять входные данны…
18 авг '23 в 11:30
1
ответ
В чем разница между langchain и веб-интерфейсом для генерации текста
Я новичок в этом мире машинного обучения, я столкнулся с двумя инструментами: один — веб-интерфейс для генерации текста, такой как oobabooga, а другой — langchain. может ли кто-нибудь помочь мне понять сходство и различия между ними?
28 июл '23 в 05:35
0
ответов
Ошибка: из .rvlcdip import RvlCdipDataset, get_rvlcdip_labels ImportError: попытка относительного импорта без известного родительского пакета
Я запускаю init.py , и он содержит только одну строку «из .rvlcdip import RvlCdipDataset, get_rvlcdip_labels», он показывает мне ошибку «ImportError: попытка относительного импорта без известного родительского пакета». я просто запускаю этот файл in…
25 авг '23 в 11:23
1
ответ
установка температуры в Open Llama не работает
Я пытаюсь сгенерировать несколько альтернативных продолжений данного приглашения с помощью Open Llama, устанавливая ненулевую температуру: import re import torch from transformers import LlamaTokenizer, LlamaForCausalLM model_path = 'openlm-research…
07 авг '23 в 15:32
1
ответ
Модели GGML (llama cpp) становятся тупыми при использовании в Python
Я борюсь с проблемой моделей, которые вообще не следуют инструкциям, когда они используются в Python, однако они работают намного лучше, когда используются в оболочке (например, cmd или powershell). примеры Python: Вопрос: llm("Можете ли вы решить м…
06 июн '23 в 10:13
1
ответ
разделение большого набора данных для использования langchain
В настоящее время я использую langchain, чтобы создать диалогового чат-бота на основе существующих данных. Среди этих данных у меня есть несколько файлов Excel и CSV, которые содержат огромные наборы данных. Мой вопрос: как мне справиться со случаем…
12 авг '23 в 18:25
1
ответ
ValueError - я не могу загрузить большую языковую модель falcon 7B в Google Colab
Я пытаюсь запустить falcon 7B в Google Colab и получаю следующую ошибку: ValueError: не удалось загрузить модель tiiuae/falcon-7b-instruct ни с одним из следующих классов: (<class 'transformers.modeling_auto.AutoModelForCausalLM'>, <class '…
05 авг '23 в 01:10
0
ответов
Не удалось создать колесо для chroma-hsnwlib (#include <Python.h> не существует) в Ubuntu
Я получаю сообщение об ошибке «Не удалось создать колесо для chroma-hsnwlib» на сервере Ubuntu. В хронологии: /tmp/pip-build-env/overlay/lib/python3.10/site-packages/pybind11/include/pybind11/detail/../detail/common.h: 226:10: Python.h нет такого фа…
27 авг '23 в 14:47