Описание тега nmt
0
ответов
NMT LSTM дает неверный ответ и большой убыток
Пишу нейросеть для перевода текстов с русского на английский, но столкнулся с проблемой, что моя нейросеть дает большой проигрыш, а так же очень далекий от правильного ответа. Ниже показан LSTM, который я создаю с помощью Keras: def make_model(in_vo…
22 апр '22 в 22:56
1
ответ
ValueError: класс токенизатора MarianTokenizer не существует или в настоящее время не импортирован
Получите эту ошибку при попытке запустить модель nmt на основе MarianMT. Traceback (most recent call last): File "/home/om/Desktop/Project/nmt-marionmt-api/inference.py", line 45, in <module> print(batch_inference(model_path="en-ar-model/Mark2…
04 май '22 в 10:14
0
ответов
В чем разница между оценкой BLEU и METEOR?
Я пытаюсь понять концепцию оценки оценок машинного перевода. Я понимаю, как то, что оценка BLEU пытается достичь. Он изучает различные n-граммы, такие как BLEU-1,BLEU-2, BLEU-3, BLEU-4, и пытается сопоставить их с человеческим письменным переводом. …
22 апр '22 в 03:25
0
ответов
Tensorflow: «избыточный» индекс в плотном слое с softmax
Я строил модель нейронного машинного перевода на основе слов в Tensorflow с использованием LSTM. Я следил за несколькими учебниками, в том числе: https://towardsdatascience.com/implementing-neural-machine-translation-using-keras-8312e4844eb8 Мой воп…
28 июл '22 в 06:48
0
ответов
Реализация механизма внимания для нейронного машинного перевода
class Attention(nn.Module): def __init__(self, hidden_size): super(Attention, self).__init__() self.hidden_size = hidden_size # Create a two layer fully-connected network. Hint: Use nn.Sequential # hidden_size*2 --> hidden_size, ReLU, hidden_siz…
19 дек '22 в 19:05
0
ответов
Оценка синего цвета модели Auto ML
Нам любопытны наши модели, обученные Auto ML. Даже если наша новая обученная модель Auto ML не получила синего балла, когда мы используем модель для перевода в инструменты кошки, использует ли она обученную нами модель или просто использует Google V…
14 окт '22 в 02:21
1
ответ
Как рассчитать количество эпох на основе размера набора обучающих данных, batch_size и количества шагов обучения?
Я новичок в ONMT, и меня немного смущает количество эпох и шагов обучения. Я знаю, что количество эпох — это количество раз, которое мы итерируем по обучающему набору данных, но как я могу рассчитать количество эпох, с которыми я обучил свою модель?…
15 июл '22 в 17:54
0
ответов
Применение метаобучения для нейронного машинного перевода
Кто-нибудь знает, как применить метаобучение для нейронного машинного перевода? Я читал несколько статей, в которых несколько языковых пар рассматривались как разные задачи метаобучения. Можно ли это сделать только с одной парой языков? например, пе…
31 янв '23 в 19:05
0
ответов
NMT , объект «KerasTensor» не может быть вызван»
Здесь я делюсь фрагментом кода для обучения модели Encoder_Decoder для машинного перевода. При использовании слоя Embedding (обученного ранее) в режиме вывода (на test_data). Выдало следующую ошибку ---> # Encoder encoder_inputs = Input(shape=(No…
04 фев '23 в 06:00
0
ответов
Расширенный размер тензора (1288) должен соответствовать существующему размеру (514) при неодноэлементном измерении 1. Целевые размеры: [16, 1288]. Размеры тензора: [1, 514]
При использовании предварительно обученной Роберты у меня возникает эта проблема. Я не знаю, какая основная причина привела к этой проблеме.
01 авг '22 в 09:16
0
ответов
Базовая оценка Google Blue
Мы работаем над проектом по обучению моделей Auto ML для каждого языка, поддерживаемого Google. Мы хотели бы знать базовую оценку Blue, установленную Google NMT для всех поддерживаемых языков. (Не только поддерживаемые Auto ML языки, но и поддержива…
07 окт '22 в 09:33
0
ответов
как я могу решить ВНУТРЕННЮЮ ошибку автоматического перевода Google?
Я разделил данные через google automl translation и приступил к обучению. После долгого обучения я получил внутреннюю ошибку, и я не знаю, почему эта ошибка возникла. Кто-нибудь знает? введите описание изображения здесь
18 авг '22 в 00:04
0
ответов
почему растет Прочая память в JVM, как ее выявить и сделать свободной
Я создал приложение с весенней загрузкой, чтобы нюхать содержимое документа на компьютере. источник: https://github.com/just226/messy-doc после проделанной работы по обнюхиванию я провел некоторое отслеживание собственной памяти и обнаружил, что ДРУ…
13 янв '23 в 05:33
0
ответов
Компилятор NMT OOM
Служба весенней загрузки всегда oom killerNMT информация здесь Компилятор это ООМ Мне нужен совет введите описание изображения здесь В настоящее время я использую "- Djava.compiler=NONE" для решения проблемы. Проблема была решена, но обслуживание ст…
01 мар '23 в 04:33
1
ответ
Linux OOM-Killer и потребление памяти G1 GC
У меня есть приложение Java, работающее на Liberica JDK 8 (HotSpot VM, G1 GC) на машине Oracle Linux с 24 ГБ ОЗУ. Приложение имеет-Xmx15gмаксимальный размер кучи, интенсивно его использует (из-за профиля нагрузки) и является единственным процессом с…
29 июл '23 в 08:40
0
ответов
Как заставить мой NMT не переводить (или удалять) специальные символы?
Я использую предварительно обученную версию MarianMT. Бывает, что мне бы хотелось, чтобы модель не переводила (или исключала определенные символы) специальные, так как они защищают меня от определенной информации, которая не должна переводиться моде…
12 июл '23 в 18:07
0
ответов
Исправьте метрики NMT с помощью Fairseq на нелатинских языках.
Как вы, возможно, знаете, чтобы правильно вычислить BLEU, вам необходимо передать токенизатор в его параметры. В моем примере я работаю с корейским языком, поэтому я ожидаю, что пройдет--tokenize ko-mecaк сакреблеу. Я знаю, что fairseq вычисляет ble…
11 сен '23 в 14:04