Описание тега huggingface-transformers
Transformers - это библиотека Python, которая реализует различные модели NLP-преобразователя в PyTorch и Tensorflow.
1
ответ
PyTorch Huggingface BERT-NLP для распознавания именованных объектов
Я уже давно использую реализацию Google BERT от PyTorch от HuggingFace для набора данных MADE 1.0. До последнего времени (11 февраля) я использовал библиотеку и получал F-Score 0,81 для своей задачи распознавания именованных объектов с помощью Fine …
25 фев '19 в 19:55
0
ответов
Обнимающие лица Pytorch-трансформеры: как инициализировать вложения с кератиновыми значениями?
Я точная настройка модели Берт от huggingface. Есть ли способ вручную установить начальное вложение определенного фрагмента слова? например, имеющее начальное вложение слова "собака", равное torch.ones(768), Спасибо!
21 авг '19 в 00:11
0
ответов
Использование Pytorch-трансформаторов hugfaceface GPT-2 для задач классификации
Я хочу использовать GPT-2 для создания модели классификатора текста. Я не совсем уверен, какую голову я должен добавить после извлечения функций через GPT-2. Например, у меня есть последовательность. import pytorch_transformers as pt import torch te…
29 июл '19 в 09:16
1
ответ
Как указать количество целевых классов для TFRobertaSequenceClassification?
У меня есть задача классификации текста, и я хочу использовать предварительно обученную модель Роберты из библиотеки трансформаторов. Вот документы: TFRobertaForSequenceClassification Согласно документации для обучения мы должны использовать: from t…
15 май '20 в 21:07
0
ответов
Монтаж трансформатора от источника
Привет, я пытаюсь установить библиотеку трансформатора из исходников с помощью этих команд на моем ноутбуке jupyter; !git clone https://github.com/huggingface/transformers !cd transformers !pip install . но я продолжаю получать эту ошибку: ERROR: Di…
27 авг '20 в 11:29
0
ответов
Почему Google Colab занимает место на моем локальном диске?
Я пытался запустить пример из репозитория трансформаторов huggingface с моделью BERT. Во время обучения я начал получать предупреждения на моем локальном компьютере о нехватке оперативной памяти и диска. Мое свободное место на диске сократилось прим…
31 дек '19 в 09:35
6
ответов
Как изменить каталог кеша по умолчанию huggingface transformers
В каталоге кеша по умолчанию недостаточно места на диске, мне нужно изменить конфигурацию каталога кеша по умолчанию.
08 авг '20 в 10:28
0
ответов
Удаление последних двух слоев из классификатора BERT приводит к ошибке "объект 'tuple' не имеет атрибута 'dim'". Зачем?
Я настроил трансформатор huggingface с помощью Keras (с ktrain), а затем перезагрузил модель в Pytorch. Я хочу получить доступ к предпоследнему слою (pre_classifier), поэтому я удалил два последних слоя: BERT2 = torch.nn.Sequential(*(list(BERT.child…
22 фев '20 в 20:59
0
ответов
из pytorch_transformers ModuleNotFoundError: нет модуля с именем 'utils'
Я сталкиваюсь с этой ошибкой при использовании pytorch_transformers в среде Colab после установки Anaconda и ее активации. Я нашел аналогичную проблему в https://github.com/huggingface/transformers/issues/1705, но у меня она не работает. Спасибо за …
11 фев '20 в 22:26
1
ответ
PyTorch BERT TypeError: forward() получил неожиданный аргумент ключевого слова 'labels'
Обучение модели BERT с использованием трансформаторов PyTorch (следуя руководству здесь). Следующее утверждение в учебнике loss = model(b_input_ids, token_type_ids=None, attention_mask=b_input_mask, labels=b_labels) приводит к TypeError: forward() g…
18 окт '19 в 18:42
0
ответов
Получение очень плохих результатов F1 при тренировке SQUAD v2.0 с robertadistil-base
Вот мой блокнот https://github.com/manishiitg/ML_Experiments/blob/master/squad_huggingface_experiment_with_Trainer_TPU.ipynb У меня очень плохие результаты на f1. Любая помощь в том, что я делаю неправильно?
14 июн '20 в 11:56
2
ответа
Как проверить основную причину проблемы нехватки памяти CUDA в середине обучения?
Я бегу с Робертой на обнимающемся лице language_modeling.py. После выполнения 400 шагов у меня внезапно возникает проблема нехватки памяти CUDA. Не знаю, как с этим бороться. Не могли бы вы помочь? Благодарность
12 фев '20 в 11:32
1
ответ
Python ImportError: из трансформаторов import BertTokenizer, BertConfig
Я пытаюсь выполнить распознавание именованных объектов в Python с помощью BERT и установил трансформаторы v 3.0.2 из huggingface, используя pip install transformers. Затем, когда я пытаюсь запустить этот код: import torch from torch.utils.data impor…
13 июл '20 в 21:27
0
ответов
Transformers Pipeline от Huggingface
Пробую конвейер трансформаторов от huggingface https://github.com/huggingface/transformers Когда я запускаю свою систему, я получаю другой результат >>> import transformers >>> transformers.__version__ '2.8.0' I am running on Pytho…
07 апр '20 в 07:52
2
ответа
Ошибка Pytorch "RuntimeError: индекс вне диапазона: попытка доступа к индексу 512 вне таблицы с 511 строками"
У меня есть предложения, которые я векторизую с помощью метода scheme_vector() модуля Python BiobertEmbedding (https://pypi.org/project/biobert-embedding/). Для некоторых групп предложений у меня нет проблем, но для некоторых других у меня появляетс…
26 июн '20 в 18:36
1
ответ
ImportError: невозможно импортировать имя hf_bucket_url в HuggingFace Transformers
Итак, я установил последнюю версию трансформаторов на Google Colab !pip install transformers При попытке вызвать файл преобразования с помощью !python /usr/local/lib/python3.6/dist-packages/transformers/convert_pytorch_checkpoint_to_tf2.py .py --hel…
05 июл '20 в 23:49
1
ответ
Обнимающее лицо - RuntimeError: обнаружена RuntimeError в реплике 0 на устройстве 0 в Azure Databricks
Как запустить сценарий run_language_modeling.py из обнимающего лица с использованием предварительно обученной модели случая Роберты для точной настройки с использованием моих собственных данных в блоках данных Azure с кластером графического процессо…
31 авг '20 в 21:31
0
ответов
Не удалось загрузить DISTILBERT_BASE_UNCASED - трансформаторы с обнимающимися лицами
Я пытаюсь выполнить: import ktrain from ktrain import text MODEL_NAME='distilbert-base-uncased' t=text.Transformer(MODEL_NAME, maxlen=500, classes=np.unique(y_train)) Я получаю следующую ошибку: *OSError: Model name 'distilbert-base-uncased' was not…
08 май '20 в 21:21
0
ответов
Добавление новых меток в уже обученную модель BERT
Я использую BERT для распознавания именованных сущностей. Изначально у меня было только 18 меток, и я обучил модель, используя 18 меток, и сохранил модель. Теперь я добавил еще 2 новых метки, и когда я обновил ранее сохраненную модель, я получаю сле…
12 июн '20 в 06:36
1
ответ
Я точно настроил предварительно обученный BERT для классификации предложений, но не могу заставить его предсказывать новые предложения
Ниже результат моей тонкой настройки. Training Loss Valid. Loss Valid. Accur. Training Time Validation Time epoch 1 0.16 0.11 0.96 0:02:11 0:00:05 2 0.07 0.13 0.96 0:02:19 0:00:05 3 0.03 0.14 0.97 0:02:22 0:00:05 4 0.02 0.16 0.96 0:02:21 0:00:05 Зат…
30 мар '20 в 05:42