Описание тега bert-language-model

Описание тега Вопросы с тегом
0 ответов

BERT работает хуже, чем word2vec

Я пытаюсь использовать BERT для ранжирования документов. Моя задача довольно проста. Я должен сделать рейтинг сходства для входного документа. Единственная проблема здесь в том, что у меня нет ярлыков - так что это скорее качественный анализ. Я соби…
21 апр '19 в 21:30
6 ответов

AttributeError: модуль 'torch' не имеет атрибута '_six'. Модель Берт в Pytorch

Я попытался загрузить предварительно обученную модель, используя класс BertModel в pytorch. У меня есть _six.py под torch, но он все еще показывает, что модуль 'torch' не имеет атрибута _six import torch from pytorch_pretrained_bert import BertToken…
21 май '19 в 15:41
0 ответов

Почему в формате Bert требуется одноразовый столбец?

Я недавно сталкивался с Берт (Представления двунаправленного кодировщика от трансформаторов). Я видел, что Берт требует строгого формата данных поезда. Третий необходимый столбец описывается следующим образом: Столбец 3: столбец с одной и той же бук…
29 апр '19 в 20:49
6 ответов

Как сгруппировать похожие предложения, используя BERT

Для ElMo, FastText и Word2Vec я усредняю ​​вложения слов в предложение и использую кластеризацию HDBSCAN/KMeans для группировки похожих предложений. Хороший пример реализации можно увидеть в этой короткой статье: http://ai.intelligentonlinetools.com…
10 апр '19 в 18:31
0 ответов

Как кормить вложения Берта в LSTM

Я работаю над моделью Bert + MLP для задачи классификации текста. По сути, я пытаюсь заменить модель MLP базовой моделью LSTM. Можно ли создать LSTM с встраиванием? Или лучше всего создать LSTM со встроенным слоем? Точнее, мне трудно пытаться создат…
13 апр '19 в 20:42
1 ответ

Как установить конкретный GPU в Bert?

ResourceExhaustedError (см. Выше для отслеживания): OOM при выделении тензора формы [768] и типа float [[node bert/encoder/layer_0/ вниманию / выводу /LayerNorm/beta/adam_m/Initializer/zeros (определено в /home/zyl/souhu/bert/optimization.py:122) = …
25 апр '19 в 08:34
1 ответ

Почему потери продолжают уменьшаться, а производительность остается неизменной?

Я использую модель bert-lstm-crf, с моделью bert из https://github.com/huggingface/pytorch-pretrained-BERT/ и модели lstm crf написаны мной. После тренировки модели bert-lstm-crf для 25 эпох производительность на тренировочном наборе, наборе разрабо…
30 апр '19 в 22:29
0 ответов

Операция типа Placeholder X не поддерживается в TPU. Выполнение не удастся, если эта операция используется в графе

Я выполняю задачу классификации текста с помощью BERT на ТПУ. Я использовал разные учебные пособия для проведения экспериментов 1, 2, 3 и 4. Единственным отличием от второго примера было то, что мой набор данных не был одним из предопределенных набо…
01 май '19 в 01:01
0 ответов

Берт: Несоответствие выходных функций из estimator.predict() в extract_features.py и sess.run(model.get_sequence_output())

Я пытаюсь использовать bert как вложение слов в этом хранилище bert. У меня возникает проблема, заключающаяся в том, что функции вывода из extract_features.py не соответствуют моему следующему коду: import tensorflow as tf from bert import modeling …
03 июн '19 в 14:51
0 ответов

Как использовать предварительные вложения BERT с моим новым набором данных?

Мой набор данных и задача НЛП сильно отличаются от большого корпуса, который авторы предварительно обучили своей модели ( https://github.com/google-research/bert), поэтому я не могу напрямую тонкая настройка. Есть ли пример кода /GitHub, который мож…
13 июн '19 в 18:37
1 ответ

Может ли Python Flair интерпретировать прерывистые аннотации?

Я работаю над обучением модели последовательной маркировки в Python Flair. Мои необработанные текстовые данные содержат концептуальные фразы, которые я хочу, чтобы модель могла идентифицировать, которые в некоторых случаях представлены набором токен…
20 июн '19 в 01:42
1 ответ

Точность точной настройки BERT значительно варьировалась в зависимости от эпох для задачи классификации намерений

Я использовал Bert base uncased как вложение и выполнение простого косинусного сходства для классификации намерений в моем наборе данных (около 400 classes and 2200 utterances, train:test=80:20). Базовая модель BERT обеспечивает точность 60% в набор…
22 июн '19 в 07:20
1 ответ

Использование BERT для определения языка данного слова

У меня есть слова на иврите. Часть из них изначально на английском языке, а часть - "иврит-английский", что означает, что это слова, которые изначально были из английского, но написаны на иврите. Например: "инсулин" на иврите это "אינסולין" (тот же …
23 июн '19 в 13:48
0 ответов

BERT Мультиклассовая классификация текста в Google Colab

Я работаю над набором данных комментариев в социальных сетях (включая ссылки на YouTube) в качестве входных данных и личностный профиль Майерс-Биггс в качестве целевой метки: type posts 0 INFJ 'http://www.youtube.com/watch?v=qsXHcwe3krw|||... 1 ENTP…
23 июн '19 в 18:42
0 ответов

Ошибка с сохраненной_моделью_кли при использовании сохраненной оценки в тензорном потоке

Я работал с большой BERT без оболочки для классификации двоичного текста. Я использовал Google Colab для обучения модели. Для сохранения оценки я использовал следующие serving_input_funtion: def serving_input_receiver_fn(): with tf.variable_scope("f…
31 июл '19 в 18:05
0 ответов

Как тренировать Xlnet с SQUAD 2.0?

Я попытался обучить и предсказать Xlnet с помощью SQUAD 2.0, запустив run_squad.py. Я использовал следующие флаги: python run_squad.py \ --use_tpu=True \ --num_hosts=1 \ --num_core_per_host=8 \ --model_config_path=/home/jb/xlnet_cased_L-24_H-1024_A-…
01 авг '19 в 14:31
0 ответов

Сбой BERT-as-Service при начальном запуске

Я впервые использую Tensorflow и Bert-as-service. Мне не удалось запустить серверную часть Bert-as-service с использованием кода VS в качестве редактора. В то же время, клиентская часть Bert-as-service, которая находится на ноутбуке Jupyter, тоже по…
31 авг '19 в 17:13
1 ответ

Использование BERT для классификации по заданной длине символа или количеству слов в предложении

У меня есть набор данных заголовков, их описания и 0 или 1, которые соответствуют действительному описанию или нет. Я хочу иметь возможность классифицировать, являются ли они действительными или нет на основе BERT наряду с количеством символов / сло…
13 июн '19 в 17:25
0 ответов

Модель BERT не изучает новое задание

Я пытаюсь подстроить предварительно подготовленную модель BERT в наборе данных Amazon. Для этого я продлил run_classifier файл следующим процессором: class AmazonProcessor(DataProcessor): """Processor for the Amazon data set.""" def get_train_exampl…
26 июн '19 в 12:53
2 ответа

Как использовать обученные контрольные точки модели BERT для прогнозирования?

Я обучил BERT с помощью SQUAD 2.0 и получил model.ckpt.data, model.ckpt.meta. model.ckpt.index (F1 балл: 81) в выходном каталоге вместе с Foretions.json и т. д. с помощью BERT-master/run_squad.py python run_squad.py \ --vocab_file=$BERT_LARGE_DIR/vo…
28 июн '19 в 07:28