Описание тега large-language-model

Вопросы с тегом
0 ответов

Как загрузить модель Лораса из таблицы лидеров Huggingface?

В open_llm_leaderboard есть много интересных моделей 30b loras с чрезвычайно хорошей производительностью. Но КАК Я МОГУ ЭТО ЗАГРУЗИТЬ без адаптера_config.json? Мне очень жаль, что я новичок в этой области, но, если я не правильно понял, при наличии …
23 июл '23 в 15:38
2 ответа

Как использовать LLMChain с моделью llm, хранящейся на диске

Мне нужно использовать LLMChain с локально хранимой моделью. У меня есть код ниже. llm_chain = LLMChain(prompt=prompt, llm = HuggingFaceHub(repo_id="google/flan-t5-large", model_kwargs={..some params})) Вместо repo_id мне нужно указать локальный пут…
09 май '23 в 09:20
0 ответов

Агент Langchain MRKL не дает полезного окончательного ответа

Вот код, который я использую для инициализации агента Zero Shot ReAct с некоторыми инструментами для извлечения соответствующих документов из векторной базы данных: chat_model = ChatOpenAI( model_name="gpt-3.5-turbo", temperature="0", openai_api_key…
09 июл '23 в 07:05
1 ответ

Получение ошибки версии Peft при точной настройке Autotrain на Llama 2

Я провел тонкую настройку Llama 2 с помощью Autotrain в Google Colab. это образец текстового столбца для точной настройки ###Human: Here is the OCR Text extracted from a VHS tape cover. Yes, the text is surely extracted from a VHS tape, but it may h…
20 авг '23 в 17:30
1 ответ

Ошибка при получении соединения с использованием библиотеки openllm Python

Я пытаюсь использовать этот репозиторий GitHub, особенно приведенный ниже код Python: import openllm client = openllm.client.HTTPClient('http://localhost:3000') client.query('Explain to me the difference between "further" and "farther"') Но выдает с…
29 июл '23 в 14:40
1 ответ

Сравнение методов системы контроля качества в наборе данных Markdown из 1000 документов: индексы и встраивания с помощью GPT-4 и переобучение GPT4ALL (или аналогичного)

Я работаю над проектом по созданию системы вопросов и ответов для портала документации, содержащего более 1000 документов Markdown, каждый из которых состоит примерно из 2000–4000 токенов. Я рассматриваю следующие два варианта: Использование индексо…
09 апр '23 в 11:58
0 ответов

Точная настройка Starcoder — как выбрать графический процессор и как оценить время, необходимое для точной настройки

Я хотел бы точно настроить Starcoder (https://huggingface.co/bigcode/starcoder) для моего набора данных и экземпляра виртуальной машины GCP. В документации сказано, что для обучения модели использовалось 512 графических процессоров Tesla A100 и это …
01 июн '23 в 17:22
0 ответов

Загадочная ошибка CUDA при точной настройке модели классификации последовательностей

Я работаю над тонкой настройкой Llama 2 7B для классификации последовательностей с использованием QLoRA. Я использую один графический процессор A100 и получаю одну и ту же загадочную ошибку CUDA даже при увеличении количества графических процессоров…
23 авг '23 в 17:20
1 ответ

Обратное распространение ошибки/минибатчинг при обучении больших языковых моделей (LLM)

Я изо всех сил пытаюсь понять, как работает обратное распространение для LLM на основе трансформатора. Вот мое предположение о том, как работает этот процесс. Учитывая последовательность токенов длиной 64, мы обрабатываем последовательность параллел…
17 авг '23 в 18:57
1 ответ

Связь между моделями внедрения и моделями вывода LLM в архитектуре RAG

Я пытаюсь реализовать архитектуру RAG в AWS с документами на испанском языке. Мой вопрос следующий: имеет ли значение, генерирую ли я вложения документов с помощью модели, обученной на английском языке или многоязычной? Или мне нужно создать вложени…
27 июл '23 в 16:29
2 ответа

Есть ли способ редактировать разговор агента Langchain по мере его продолжения?

Я использую langchain для запроса базы данных MySQL, но агенты langchain всегда превышают лимит токенов OpenAI в 4 КБ. Когда я просмотрел историю разговоров агента, кажется, что агент звонилschema_sql_dbнесколько раз, и схемы таблиц заняли много мои…
07 июн '23 в 02:42
0 ответов

Могу ли я генерировать усиленные вопросы на основе ответов пользователей?

Ввод: «У меня кашель и насморк» бот: «Как долго у вас кашель? (дни/недели/месяцы):? Ввод: «За последнюю неделю». бот: "Кашель сухой или продуктивный? (сухой/продуктивный) Ввод: «Кашель продуктивный». бот: «Кашель звучит хрипящим или надрывным?» . . …
01 сен '23 в 05:49
0 ответов

Ошибка конвейера обнимания лица от langchain PydanticUserError:

У меня возникает следующая ошибка при попытке загрузить конвейер обнимающего лица из langchain PydanticUserError: если вы используете pre=False (по умолчанию), вы ДОЛЖНЫ указатьskip_on_failure=True. Обратите внимание, что@root_validatorустарел и дол…
11 июл '23 в 08:02
1 ответ

Как сгенерировать оценки настроений, используя предопределенные аспекты с помощью модели deberta-v3-base-absa-v1.1 Huggingface?

У меня есть фрейм данных, где есть текст в 1-м столбце и предопределенный аспект в другом столбце, однако для нескольких текстов, например, строки 2, не определены аспекты. data = { 'text': [ "The camera quality of this phone is amazing.", "The belt…
26 май '23 в 01:06
1 ответ

Почему модель суммирования bart-large-cnn дала забавный результат с разными настройками длины?

У меня есть кусок текста в 4226 символов (316 слов + спецсимволы) Я пробую разные комбинации min_length и max_length, чтобы получить сводку print(summarizer(INPUT, max_length = 1000, min_length=500, do_sample=False)) С кодом: Код summarizer = pipeli…
20 мар '23 в 21:26
0 ответов

Как ограничить поиск вне контекста в LangChain

Я хочу ограничить поиск по запросам специальными документами для LLM. но результаты отображаются вне контекста, как показано на изображении ниже. Мой код ниже: для генерации токенов max_input_size = 4096 num_outputs = 512 max_chunk_overlap = 20 chun…
04 апр '23 в 12:22
1 ответ

Можно ли использовать модель mT5 на Huggingface для машинного перевода?

The Модель предварительно обучена на корпусе mC4, охватывающем 101 язык: Африкаанс, албанский, амхарский, арабский, армянский, азербайджанский, баскский, белорусский, бенгальский, болгарский, бирманский, каталанский, кебуанский, чичева, китайский, к…
18 апр '23 в 03:20
0 ответов

Сопоставьте обзоры с концепциями

У меня есть обзоры продуктов «N» и концепции «K», такие как «Цвет», «Аудио», «Впечатление пользователя», «Долговечность» и т. д. Я хочу получить логический массив «N x K», где 1 указывает если в обзоре говорится об указанной концепции, а 0 означает,…
17 май '23 в 03:42
0 ответов

fastchat-t5-3b-v1.0 дает усеченные/неполные ответы

Я использовал следующие вложения: преобразователи предложений/all-mpnet-base-v2 hkunlp/инструктор-xl чтобы получить встраивание def getEmbedding(): device = "cuda" if torch.cuda.is_available() else "cpu" return HuggingFaceEmbeddings(model_name="sent…
15 июл '23 в 05:20
1 ответ

Как скомпилировать библиотеку llm с помощью nix

Я попытался установить библиотеку llm с помощью nix. Вам просто нужно сделать это: git clone https://github.com/rustformers/llm.git nix build К сожалению, это не удается: ошибка: сборщик для '/nix/store/zllzqwj422zqrsl24lgr6j5y0m4c1mx7-rust-workspac…
13 июл '23 в 01:59