Описание тега fine-tune

Вопросы с тегом
1 ответ

Кодирование / токенизация словаря набора данных (BERT/Huggingface)

Я пытаюсь доработать свою модель анализа настроений. Поэтому я разделил свой фрейм данных pandas (столбец с отзывами, столбец с оценками настроений) на тренировочный и тестовый фрейм данных и преобразовал все в словарь набора данных: #Creating Datas…
18 авг '21 в 17:27
1 ответ

Множественное условие ИЛИ в SQL-запросе

Приведенный ниже запрос требует больше времени для выполнения, так как таблица содержит более 50 миллионов записей, и кажется, что условие OR неверно в запросе .... Кто-нибудь может предоставить оптимизированную версию для моего запроса. Ценить..!! …
18 авг '21 в 17:21
0 ответов

Точно настроенная модель BERT не работает в соответствии с обучением

Я настроил модель BERT для поведения по умолчанию схожести текста на итальянском языке. Я вручную установил оценку схожести схожести текста, но все же после точной настройки она не работает должным образом. с использованием предварительно обученной …
17 авг '21 в 19:42
0 ответов

как настроить модель «distiluse-base-многоязычный корпус» для настройки схожести текста

Я пытаюсь выполнить семантический поиск, но предварительно обученная модель не соответствует данным итальянских продуктовых магазинов. например. Query: latte al cioccolato #chocolate milk Top 3 most similar sentences in the corpus: Milka cioccolato …
23 авг '21 в 22:03
0 ответов

Как настроить модель НЛП (Барт)? [закрыто]

Недавно я начал создавать веб-сайт, который позволяет пользователю резюмировать статьи, связанные с финансами, используя модель HuggingFace под названием BART (которая является расширением известной модели НЛП BERT). Модель может обработать статью и…
26 авг '21 в 15:39
1 ответ

Использование веса из модели Gensim Word2Vec в качестве отправной точки для другой модели

У меня есть два корпуса из одной области, но с временным сдвигом, скажем, на одно десятилетие. Я хочу обучить на них модели Word2vec, а затем исследовать различные факторы, влияющие на семантический сдвиг. Интересно, как мне инициализировать вторую …
28 авг '21 в 13:15
1 ответ

Тонкая настройка семантического поиска

например. Предварительно обученный результат BERT для косинусного сходства предложений ====================== Query: milk with chocolate flavor Top 10 most similar sentences in corpus: Milka milk chocolate 100 g (Score: 0.8672) Alpro, Chocolate soy …
31 авг '21 в 17:51
0 ответов

Перенос обучения на изображения с более высоким динамическим диапазоном

Можно ли точно настроить модель на основе CNN, ранее обученную на изображениях с глубиной 8 бит [0 ~ 2^8], чтобы соответствовать изображениям с глубиной 16 бит [0 ~ 2^16]? если есть какая-либо исследовательская работа, подтверждающая это, было бы зд…
02 сен '21 в 03:07
0 ответов

Подписи к изображениям и точная настройка

Если я построю модель для подписи к изображениям с использованием CNN на основе кодировщика-декодера мобильной сети и lstm, имеет ли значение тонкая настройка архитектуры мобильной сети в моем наборе данных? Или просто нужно настроить декодер?
03 сен '21 в 21:19
1 ответ

как обучить бертовскую модель с нуля с помощью huggingface?

Я нахожу ответ модели обучения с нуля в этом вопросе:Как обучить BERT с нуля на новом домене как для MLM, так и для NSP? в одном ответе используются такие аргументы, как Trainer и TrainingArguments: from transformers import Trainer, TrainingArgument…
10 сен '21 в 06:30
1 ответ

Finetune mBART для задач перед тренировкой с помощью HuggingFace

Я хотел бы доработать facebook/mbart-large-cc25 на моих данных, используя предварительные обучающие задания, в частности моделирование маскированного языка (MLM). Как я могу это сделать в HuggingFace? Edit: переписал вопрос для ясности
23 сен '21 в 11:17
1 ответ

Тонкая настройка модели преобразователя предложений BERT

Я использую предварительно обученную модель преобразователя предложений BERT, как описано здесь https://www.sbert.net/docs/training/overview.html , чтобы получить вложения для предложений. Я хочу точно настроить эти предварительно обученные вложения…
14 окт '21 в 00:38
1 ответ

Тонкая настройка с очень низкой скоростью обучения. Есть признаки того, что что-то не так?

Я работал с глубоким обучением с подкреплением, и в литературе обычно скорость обучения ниже, чем я обнаружил в других условиях. Моя модель следующая: def create_model(self): model = Sequential() model.add(LSTM(HIDDEN_NODES, input_shape=(STATE_SIZE,…
16 окт '21 в 17:28
0 ответов

NeMo Conformer-CTC многократно предсказывает одно и то же слово при тонкой настройке

Я использую NeMo Conformer-CTC small в наборе данных LibriSpeech (чистое подмножество, около 29K входов, 90% используются для обучения и 10% для тестирования). Я использую Pytorch Lightning. Когда я пытаюсь тренироваться, модель выучивает 1 или 2 пр…
03 окт '21 в 19:39
1 ответ

Tensorflow: доступ для просмотра активации слоя (тонкая настройка),

Пользуюсь тонкой настройкой. Как я могу увидеть и получить доступ к активациям всех слоев, находящихся внутри сверточной основы? conv_base = VGG16(weights='imagenet', include_top=False, input_shape=(inp_img_h, inp_img_w, 3)) def create_functional_mo…
08 окт '21 в 22:47
1 ответ

Ошибка типа при тонкой настройке модели bert-large-uncased-all-word-masking с помощью Huggingface

Я пытаюсь настроить модель Huggingface bert-large-uncased-all-word-masking, и при обучении получаю такую ​​ошибку типа: «TypeError: только целочисленные тензоры одного элемента могут быть преобразованы в индекс» Вот код: train_inputs = tokenizer(tex…
28 окт '21 в 15:34
1 ответ

Как загрузить файл .mdl в Python?

Я планирую точно настроить модель преобразователя GPT с помощью специального набора данных, в набора данных частности,EmpatheticDialogues для моего чат-бота. Репозиторий предоставляет для своего проекта файл .mdl. Как я могу загрузить эти файлы .mdl…
02 ноя '21 в 15:30
0 ответов

Невозможно получить ошибку блокировки (кэширования файла) в преобразователе тонкой настройки

Я использую jupyter для тонкой настройки трансформатора T5. Я пытаюсь запустить код, взятый из github, но у меня возникает проблема, когда я пытаюсь обучить модель, это фрагмент кода model = T5FineTuner(args) но я получил эту ошибку ValueError: Cann…
04 ноя '21 в 17:33
1 ответ

Проблемы с кодированием предсказаний OpenAI после точной настройки

Я следую этому руководству OpenAI по тонкой настройке. Я уже создал набор данных с помощью инструмента openai. Проблема в том, что кодировка выходных данных (результат вывода) смешивает UTF-8 с символами, отличными от UTF-8. Сгенерированная модель в…
11 ноя '21 в 15:44
1 ответ

Как настроить BERT Base (модель без корпуса) для создания вложений?

В Интернете я нашел только примеры задач классификации, но в моей задаче ярлыка нет (у меня есть только набор твитов). Моя задача заключается в следующем: сгенерировать вложения Word с помощью BERT, теперь используйте эти вложения Word в следующей з…
12 ноя '21 в 15:45