Описание тега fine-tuning

Вопросы с тегом
1 ответ

Получение ошибки версии Peft при точной настройке Autotrain на Llama 2

Я провел тонкую настройку Llama 2 с помощью Autotrain в Google Colab. это образец текстового столбца для точной настройки ###Human: Here is the OCR Text extracted from a VHS tape cover. Yes, the text is surely extracted from a VHS tape, but it may h…
20 авг '23 в 17:30
1 ответ

Выполнение пакетных прогнозов с точно настроенной моделью PALM в Vertex AI всегда выдает ValueError.

Для моего кода: import vertexai from vertexai.preview.language_models import TextGenerationModel model = TextGenerationModel.get_tuned_model("projects/PROJECT_ID/locations/us-central1/models/MODEL_ID") batch_file=f'gs://my_bucket/test_.jsonl' batch_…
25 авг '23 в 18:09
0 ответов

Извлечение текста структурированным способом не работает с Transformer DONUT

В настоящее время я работаю над точной настройкой преобразователя DONUT (https://huggingface.co/docs/transformers/model_doc/donut) над этой задачей: я хочу, чтобы он извлекал только абзацы моего текстового документа следующим образом: <>Текст …
10 июл '23 в 07:23
0 ответов

Как правильно настроить модель OpenAI LLM с использованием их API?

const port = process.env.PORT || 3080; app.listen(port, () => { console.log(`Example app listening on port ${port}`); }); app.post("/firegpt", async (req, res) => { const { conversation } = req.body; app.use(express.static(path.join(__dirname…
16 июл '23 в 15:05
2 ответа

Точная настройка модели TheBloke/Llama-2-13B-chat-GPTQ с помощью библиотеки Hugging Face Transformers выдает ошибку Exllama.

Я пытаюсь настроить модель TheBloke/Llama-2-13B-chat-GPTQ, используя библиотеку Hugging Face Transformers. Я использую файл JSON для наборов данных обучения и проверки. Однако при попытке запустить скрипт я сталкиваюсь с ошибкой, связанной с серверн…
26 авг '23 в 13:57
0 ответов

Точная настройка преобразователей предложений для задачи семантического поиска продукта

Проблема, с которой я столкнулся, заключается в создании модели предложения продуктов, которая предлагает продукты на основе контекста поискового запроса пользователя. Мой план состоит в том, чтобы получить предварительно обученную модель из предвар…
21 авг '23 в 11:04
0 ответов

Я настраиваю модель «t5-small» для стандартизации жаргонного текста. Я не могу получить правильный результат даже для примера из обучающей выборки.

Пример из обучающего набора: input_text = «у тебя очень сексуальный заголовок». Я ожидал, что модель изменит букву «u» на «ты». Я думаю, что есть какая-то проблема с форматом набора данных или параметрами. Я прилагаю свой обучающий код, а также код,…
20 июл '23 в 15:38
1 ответ

Доработка: лама-2-13б-чат

Для точной настройки больших языковых моделей (llama2) какой должен быть формат (.text/.json/.csv) и структура (например, файл Excel или docs, приглашение и ответ или инструкция и вывод) набор обучающих данных? А также как подготовить или организова…
22 авг '23 в 05:10
0 ответов

Вопросы о распределенной точной настройке модели трансформаторов (chatglm) с помощью Accelerate в графических процессорах Kaggle

Я пытаюсь настроить модель Chatglm-6b, используя LoRA с трансформаторами и peft в графических процессорах Kaggle (2*T4). Структура модели: Традиционный метод загрузки (AutoModel.from_pretrained) требует сначала загрузить саму модель (15 ГБ) в ЦП, то…
15 авг '23 в 07:58
0 ответов

Как присвоить вес или рейтинг набору данных при точной настройке модели LLM?

В настоящее время я занимаюсь доработкой модели мета-ламы/Ламы-2-7b-chat-hf с использованием рецепта Ламы и техники LoRA. Мой подход предполагает оперативное проектирование для улучшения производительности модели с использованием данных, представлен…
23 авг '23 в 05:01
0 ответов

Как добавить контрольную точку активации Deepspeed в LLM для тонкой настройки в PyTorch Lightning?

Я пытаюсь включить контрольную точку активации для модели T5-3b, чтобы значительно освободить память графического процессора. Однако не совсем понятно, как реализовать LLM. Судя по документации PTL , это примерно так: from lightning.pytorch import T…
06 июл '23 в 18:32
0 ответов

Как нам точно настроить модель Llama 2 для специальной классификации намерений?

Как нам точно настроить модель Llama 2 для классификации текста? Кроме того, какими должны быть данные обучения для специальной классификации намерений? Я стремлюсь точно настроить модель llama2 для обнаружения и распознавания намерений/классификаци…
31 июл '23 в 06:41
0 ответов

Как точно настроить английскую модель преобразователя зрения на другие языки

Наша команда пытается использовать модель глубокого обучения (преобразователя зрения) под названием Deplot. Это модель преобразователя зрения, способная преобразовывать диаграммы в таблицы (тексты). Архитектура модели не слишком сложна по сравнению …
13 июл '23 в 09:34
0 ответов

Уровень бесплатного пользования Google Colab: код останавливается на 51000 примеров при тонкой настройке LLAMA 2 с помощью пользовательского набора данных

Я столкнулся с проблемой при точной настройке Llama 2 в Google Colab с использованием специального набора данных. В процессе обучения код останавливается ровно на 51000 примерах, хотя мой набор данных содержит 61609 примеров. Странно то, что когда я…
25 июл '23 в 18:25
0 ответов

Подсчитайте токены файла jsonl для точной настройки gpt

Как я могу вычислить токен моего файла JSONL, который создается после запуска команды openai в терминале. Я знаю, что когда мы запускаем команду для создания модального окна, она показывает статистику об использовании и ценах taokens, но я не мог ви…
17 июл '23 в 09:51
0 ответов

Ошибка с get_peft_model() и PromptTuningConfig.

Я учусь выполнять быструю настройку и столкнулся с проблемой. Я использую функцию get_peft_model для инициализации модели для обучения из «google/flan-t5-base». model_name='google/flan-t5-base' tokenizer = AutoTokenizer.from_pretrained(model_name,) …
12 июл '23 в 14:02
1 ответ

Модель Stable Diffusion Dreambooth отправляется в Hub

Я настроил модель стабильной диффузии с помощью Dreambooth в Colab. Теперь новая Модель с гирями находится здесь./content/my_model/facial-sketch/800Я также получил.ckptфайл. Как мне теперь перенести эту модель в HuggingFace Hub? Я попробовал методом…
20 июл '23 в 17:43
1 ответ

AttributeError: у модуля openai нет атрибута FineTuneingJob.

Я пытаюсь начать работу по тонкой настройке с использованием GPT 3.5-turbo через вызов Python, используя формат, указанный в справочнике по тонкой настройке, по существу: import os import openai openai.api_key = os.getenv("OPENAI_API_KEY") openai.Fi…
27 авг '23 в 22:10
0 ответов

Проблема с точной настройкой, когда я использую «flow_from_dataframe»

Я без проблем использую CNN для классификации, используя следующий код (кратко!) cnn_input = Input((128, 32,3)) cnn_output = Conv2D(32, (3, 3), padding='same', activation=LeakyReLU(alpha=0.01)) (cnn_input) fc_input = Flatten() (cnn_output) fc_input …
25 сен '23 в 12:20
0 ответов

Huggingfacetrainer.train(), похоже, завершается почти мгновенно

Я новичок в Huggingface и Transformers и пытаюсь настроить mt5-small на собственном наборе данных. Проблема в том, чтоtrainer.train()кажется, что он заканчивается очень быстро, вместо того, чтобы тренироваться. Я использовал аналогичный код для точн…
29 сен '23 в 13:01