Описание тега text-generation
0
ответов
Как генерировать предложения с помощью deeplearning4j?
Я пытаюсь создать новые предложения на основе набора существующих предложений, используя deeplearning4j. Как лучше всего подойти к этому с помощью deeplearning4j? Может ли кто-нибудь привести пример того, как создать простую модель генерации предлож…
21 фев '23 в 06:48
0
ответов
Глубокое обучение NLIP Keras: TextVectorization IndexError: индекс кортежа вне допустимого диапазона
После очистки текста я пытаюсь векторизовать текст, после чего получаю следующую ошибку: «индекс кортежа вне диапазона» Я не уверен, что я делаю что-то не так? Пожалуйста, помогите. заранее спасибо from __future__ import print_function from tensorfl…
30 янв '23 в 21:06
0
ответов
Определение вероятности последовательности, сгенерированной моделью T5, с помощью HuggingFace
Я использую T5-Large от HuggingFace для вывода. Учитывая предпосылку и гипотезу, мне нужно определить, связаны они или нет. Итак, если я накормлю строку"mnli premise: This game will NOT open unless you agree to them sharing your information to adver…
06 янв '23 в 08:19
0
ответов
Преобразование генеративной модели трансформатора из keras в PyTorch
Я хотел бы воссоздать следующую модель keras в PyTorch. vocab_size = 22 maxlen = 200 embed_dim = 256 num_heads = 2 feed_forward_dim = 256 batch_size = 128 decoders = 5 def create_model(): inputs = layers.Input(shape=(maxlen,), dtype=tf.int32) embedd…
08 янв '23 в 20:19
0
ответов
Как текст для HLL отображается на экране? Что переводит буквы в пиксели? Какое оборудование знает, как использовать шаблоны для них?
И если бы у вас не было C или другого человеческого языка, как бы вы сказали системе генерировать текст на экране после того, как проработаете специфику языка, который вы хотите создать без помощи другого? Если бы кто-то захотел написать компилятор …
02 мар '23 в 13:25
0
ответов
Метрика оценки для формирования обратной связи?
Я новичок в НЛП. Я работаю над созданием обратной связи для ответов студентов и задаюсь вопросом, какой показатель оценки будет лучшим для этого случая? мой набор данных состоит из кортежей, я планирую использовать flan-t5 с подсказкой (где вы добав…
24 мар '23 в 00:46
1
ответ
Как сохранить модель gpt-2-simple после обучения?
Я обучил модель чат-бота gpt-2-simple , но не могу ее сохранить. Для меня важно загрузить обученную модель из Colab, потому что в противном случае мне придется каждый раз загружать модель 355M (см. код ниже). Я пробовал различные методы сохранения о…
06 апр '23 в 15:42
0
ответов
При попытке сгенерировать текст с использованием GPT-2 пользовательская функция потери обращается к PAD_TOKEN_ID.
Во время обучения пользовательская функция потерь пытается получить доступ к PAD_TOKEN_ID, что приводит к следующей ошибке.50257 — это PAD_TOKEN_ID и размер словаря GPT-2. InvalidArgumentError: {{function_node __wrapped__SparseSoftmaxCrossEntropyWit…
29 апр '23 в 19:04
0
ответов
Обновление пользовательских выходных слоев сети LSTM
У меня есть задача по генерации текста: научиться предсказывать следующее слово с помощью сети LSTM с несколькими выходными слоями. После завершения генерации предложения я рассчитываю вознаграждение за все предложение и пытаюсь обновить выходные сл…
04 авг '23 в 01:07
0
ответов
Ожидаемый скалярный тип Float, но найден Half при использовании Text Gen WebUI с VIcuna и Monkey-Patch
Я пытаюсь настроить модель Vicuna с помощью веб-интерфейса для генерации текста. Я выполнил следующие шаги для установки, как показано в документации: # Install miniconda curl -sL "https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.s…
24 май '23 в 13:54
0
ответов
fastchat-t5-3b-v1.0 дает усеченные/неполные ответы
Я использовал следующие вложения: преобразователи предложений/all-mpnet-base-v2 hkunlp/инструктор-xl чтобы получить встраивание def getEmbedding(): device = "cuda" if torch.cuda.is_available() else "cpu" return HuggingFaceEmbeddings(model_name="sent…
15 июл '23 в 05:20
0
ответов
Ошибка ImportError: невозможно импортировать имя «multi_gpu_model» из «tensorflow.keras.utils» в textgenrnn
Я пытаюсь тренироватьtextgenrnnсмоделируйте на Python и сохраните веса. У меня есть текстовый файл со списком заголовков, которые я хочу использовать. это мой код: from textgenrnn import textgenrnn t = textgenrnn() t.train_from_file(r"filepath goes …
25 май '23 в 20:56
1
ответ
Вход и выход RNN Форма
Я пытаюсь создать RNN с помощью tf.keras для генерации текста. Допустим, у меня есть 100 стихотворений Шекспира максимальной длиной 50 слов, и я использую 10 тысяч английских слов в качестве словаря. Таким образом, моя входная форма будет [100, 50, …
05 июл '23 в 11:11
0
ответов
Проблемы с запуском на графическом процессоре в MXNet.
Я воспроизвожу код по адресу https://github.com/cartus/dcgcn в Colab. Но возникает ошибка при использовании графического процессора. Между тем, если я использую процессор, эта ошибка не появляется. Есть ли какое-нибудь решение? Примечание. Я использ…
05 мар '23 в 15:10
0
ответов
как исправить «KeyError: 0» в функции поезда трансформатора обнимающего лица ()
Привет, ребята, пожалуйста, мне очень нужна ваша помощь. Я пытаюсь точно настроить модель gpt2-meduim с помощью преобразователя обнимающего лица и столкнулся с этой ошибкой как раз тогда, когда хотел начать обучение «KeyError: 0». вот мой полный код…
10 апр '23 в 19:02
0
ответов
Заголовок: Генерация предложений с помощью TRL при сохранении тональности — проблема с AutoModelForCausalLMWithValueHead
В настоящее время я работаю над созданием предложений с помощью TRL (Transformers Reinforcement Learning), сохраняя при этом то же настроение, что и примеры предложений. Однако я столкнулся с проблемой с кодом TRL, который использует, который в перв…
19 июл '23 в 18:29
3
ответа
Каким образом GPT-подобные преобразователи используют только декодер для генерации последовательности?
Я хочу написать GPT-подобный преобразователь для конкретной задачи генерации текста. GPT-подобные модели используют только блок декодера (в стеках) [1] . Я знаю, как закодировать все подмодули блока декодера, показанного ниже (от внедрения до слоя s…
08 мар '23 в 12:04
0
ответов
Как я могу создать ИИ, генерирующий текст на основе тензорного потока?
Я работаю над «чат-ботом с искусственным интеллектом», который связывает входные данные пользователя с файлом json и возвращает «ответ», также заранее определенный. Но вопрос в том, что я хочу добавить функцию генерации текста, и я не знаю, как это …
14 апр '23 в 15:46
0
ответов
Ввод 0 слоя «dense_22» несовместим со слоем: ожидалось, что ось -1 входной формы будет иметь значение 100, но получен ввод с формой (100, 1).
def addSpaces(text, minLength): while(len(text) < minLength): text += " " return text def convertToTokens(text): return [ord(token) for token in text] def buildExamples(text, paddedLength): trainExamples = [] for i in range(len(text)): trainExam…
12 апр '23 в 00:38
0
ответов
Токенизация больших наборов текстовых данных
Я пытаюсь работать над проектом генерации текста. Я скачал набор данных WikiBooks с Kaggle: https://www.kaggle.com/datasets/dhruvildave/wikibooks-dataset И когда я пытаюсь создать набор данных для токенизации текстов, мое ядро выходит из строя, по…
24 июл '23 в 16:01