Как использовать предварительные вложения BERT с моим новым набором данных?

Question

Как использовать предварительные вложения BERT с моим новым набором данных?

Мой набор данных и задача НЛП сильно отличаются от большого корпуса, который авторы предварительно обучили своей модели ( https://github.com/google-research/bert), поэтому я не могу напрямую тонкая настройка. Есть ли пример кода /GitHub, который может помочь мне обучить BERT с моими собственными данными? Я ожидаю получить вложения как перчатки.

Большое спасибо!

3

bert-language-model word-embedding transfer-learning

Источник

user11409282 13 июн '19 в 18:37

0 ответов

Другие вопросы по тегам bert-language-model word-embedding transfer-learning

user8893595 30 окт '19 в 17:53 2019-10-30 17:53 · Answer 1 · 2019-10-30 17:53

Да, вы можете получить вложения BERT, как и другие вложения слов, используя extract_features.pyсценарий. У вас есть возможность выбрать количество слоев, из которых вам нужен вывод. Использование простое, вам нужно сохранить по одному предложению на строку в текстовом файле и передать его как ввод. Результатом будет файл JSONL, обеспечивающий контекстные вложения для каждого токена.

Использование скрипта с документацией доступно по адресу: https://github.com/google-research/bert.