Описание тега sequence-to-sequence

Этот тег используется для устаревшей структуры seq2seq от Google, структуры кодировщика-декодера для Tensorflow (обновленная версия называется нейронным машинным переводом).
0 ответов

Нет операции с именем GatherTree при использовании BeamSearchDecoder

Я реализую модель Seq2Seq с TensorFlow. Мой код работает с использованием Greedy Decoder, но когда я использовал BeamSearchDecoder для повышения производительности, я столкнулся с этой ошибкой: Traceback (most recent call last): File "/Users/Michael…
1 ответ

Проблемы с пониманием tf.contrib.seq2seq.TrainingHelper

Мне удалось построить последовательность для модели последовательности в tenorflow с использованием классов tf.contrib.seq2seq в версии 1.1. Знаю, что я использую TrainingHelper для обучения моей модели. Но этот помощник передает ранее декодированны…
0 ответов

Настройте модель последовательности к последовательности, чтобы быть менее счастливым

У меня есть модель от последовательности к последовательности распознавания речи, которая обучена распознавать слово триггера. После нескольких часов обучения я получаю модель, которая очень хорошо находит это слово, но проблема в том, что оно также…
1 ответ

Как использовать график сэмплирования в лучевом поисковом декодере в тензорном потоке.

Базовый декодер содержит параметр для добавления вспомогательного метода, который может быть помощником выборки по расписанию. Но декодирование поиска луча не содержит никакого вспомогательного параметра. В то время как в коде похоже, что использует…
0 ответов

Включение контекстной информации в Sequence2Sequence (Keras)

На этом сайте я следовал стандартному руководству по Keras для машинного перевода Sequence2Sequence. Для решения моей конкретной проблемы мне нужно как-то расширить этот "стандартный" подход, дополнительно обуславливая прогнозы для нетекстовых конте…
25 янв '18 в 14:54
1 ответ

Тензорный поток embedding_lookup дифференцируем?

Некоторые из учебных пособий, с которыми я столкнулся, описаны с использованием случайно инициализированной матрицы встраивания, а затем с использованием tf.nn.embedding_lookup функция для получения вложений для целочисленных последовательностей. У …
1 ответ

Встраивание слоя Keras, вызывающее проблемы с размерностью

В настоящее время я пытаюсь включить слой встраивания в мой авто-кодер последовательности-последовательности, созданный с помощью функционального API-интерфейса keras. Код модели выглядит следующим образом: #Encoder inputs encoder_inputs = Input(sha…
0 ответов

Многофакторное предсказание двоичной последовательности с CRF

Этот вопрос является расширением этого вопроса, который фокусируется на LSTM, а не на CRF. К сожалению, у меня нет никакого опыта работы с CRF, поэтому я задаю эти вопросы. Проблема: Я хотел бы предсказать последовательность двоичного сигнала для не…
1 ответ

Разница между RNN декодером и RNN

Мы используем только RNN-декодер (без кодера) для генерации текста. Чем RNN-декодер отличается от чисто RNN-операции? Декодер RNN в TensorFlow: https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/dynamic_rnn_decoder Чистый RNN в TensorFlow…
1 ответ

Исключение в модели Sequence-to-Sequence в Keras

Я пытаюсь построить последовательность для модели последовательности в Керасе, используя LSTM и плотную нейронную сеть. Кодер кодирует вход, кодированное состояние и входы затем соединяются и подаются в декодер, который представляет собой нейронную …
0 ответов

TensorFlow BeamSearchDecoder выводит sample_id как (фактический sample_id+1)

Написал ли я собственный код (вместо использования стандартного сценария, представленного в TensorFlow): Да. На основе учебника по NMT я пишу специальный код для своей задачи. Платформа и распространение ОС (например, Linux Ubuntu 16.04): Linux Ubun…
2 ответа

Как мы должны дополнить текстовую последовательность в кератах, используя pad_sequence?

Я сам закодировал последовательность для последовательного изучения LSTM в керасе, используя знания, полученные из веб-уроков, и мою собственную интуицию. Я преобразовал мой образец текста в последовательности, а затем дополнен, используя pad_sequen…
1 ответ

Tensorflow seq2seq: объект Tensor'не повторяется

Я использую seq2seq ниже кода, я нашел ошибку ниже: cell = tf.nn.rnn_cell.BasicLSTMCell(size) a, b = tf.nn.dynamic_rnn(cell, seq_input, dtype=tf.float32) cell_a = tf.contrib.rnn.OutputProjectionWrapper(cell, frame_dim) dec_output= tf.contrib.legacy_…
3 ответа

Плановая выборка в Tensorflow

Новейший API-интерфейс Tensorflow о модели seq2seq включает запланированную выборку: https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledEmbeddingTrainingHelper https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/Schedul…
1 ответ

Выбор метода обучения для модели seq2seq

Какой метод обучения вы можете порекомендовать для обучения последовательности, основанной на внимании, для модели нейронного машинного перевода последовательности? SGD, Adadelta, Adam или что-то лучше? Пожалуйста, дайте несколько советов, спасибо.
1 ответ

Тензорный поток непрерывный текст от последовательности к последовательности. Почему партия?

Я работаю над созданием предсказателя Шекспира от последовательности к последовательности и смотрю на пример кода, который, кажется, выполняет группировку в группах по 50 символов. Я немного смущен этим. Если текст непрерывный, и вы обрабатываете ку…
22 июл '17 в 14:25
0 ответов

Требование переменной tf.scatter_nd_update против метода RNN.__call__

Я разрабатываю RNN и использую Tensorflow 1.1. Я получил следующую ошибку: tensorflow.python.framework.errors_impl.InvalidArgumentError: The node 'model/att_seq2seq/encode/pocmru_rnn_encoder/rnn/while/Variable/Assign' has inputs from different frame…
2 ответа

Создание ансамбля для последовательных (seq2seq) моделей тензорного потока?

Я подготовил модель тензорного потока seq2seq для 30 эпох и сохранил контрольную точку для каждой эпохи. Сейчас я хочу объединить лучшие X из этих контрольных точек (на основе результатов на наборе разработки). В частности, я ищу способ, позволяющий…
4 ответа

Как преобразовать предсказанную последовательность обратно в текст в керасе?

У меня есть последовательность обучения, которая работает отлично и способна предсказать некоторые результаты. Проблема в том, что я понятия не имею, как преобразовать вывод обратно в текстовую последовательность. Это мой код from keras.preprocessin…
01 фев '17 в 03:51
1 ответ

Обучение обученной модели seq2seq дополнительным данным обучения

Я обучил модель seq2seq с 1М сэмплами и сохранил последнюю контрольную точку. Теперь у меня есть несколько дополнительных обучающих данных из 50 тыс. Пар предложений, которых не было в предыдущих обучающих данных. Как я могу адаптировать текущую мод…