Почему в формате Bert требуется одноразовый столбец?

Question

Почему в формате Bert требуется одноразовый столбец?

Я недавно сталкивался с Берт (Представления двунаправленного кодировщика от трансформаторов). Я видел, что Берт требует строгого формата данных поезда. Третий необходимый столбец описывается следующим образом:

Столбец 3: столбец с одной и той же буквой - это отдельный столбец, который необходимо включить, поскольку его ожидает модель BERT.

Что такое одноразовый столбец и почему этот столбец необходим в наборе данных, поскольку указано, что он содержит одну и ту же букву?

Спасибо.

2

machine-learning deep-learning nlp bert-language-model

Источник

user8860764 29 апр '19 в 20:49

0 ответов

Другие вопросы по тегам machine-learning deep-learning nlp bert-language-model

user11983067 27 авг '19 в 12:47 2019-08-27 12:47 · Answer 1 · 2019-08-27 12:47

BERT прошел предварительную подготовку по двум задачам - моделирование языка по маске и прогнозирование следующего предложения.

Третий столбец, как вы его называете, используется только в прогнозировании следующего предложения и последующих задачах, требующих нескольких предложений, таких как ответы на вопросы. В этих случаях значение столбца не будет просто A или 0 для всего. В предложении 1 будет все 0, а в предложении 2 - 1, что указывает на то, что первое - это предложение A, а второе - предложение B.