Описание тега distilbert

0 ответов

AttributeError: объект типа BertConfig не имеет атрибута pretrained_config_archive_map

Я пытаюсь настроить DistilBERT в Colab с помощью run_glue.py из HuggingFace: !python run_glue.py \ --model_type DistilBERT \ --model_name_or_path distilbert-base-cased \ --task_name $TASK_NAME \ --do_train \ --do_eval \ --train_data_file=train.tsv \…
1 ответ

Проблема при предварительной обработке текста с помощью Ktrain и DistilBERT

Следуя примеру записной книжки здесь: https://github.com/amaiya/ktrain/blob/master/examples/text/20newsgroup-distilbert.ipynb На ШАГЕ 1: Предварительная обработка данных я сталкиваюсь с ошибками, перечисленными ниже. Когда я делаю то же самое в блок…
1 ответ

невозможно импортировать имя 'DISTILBERT_PRETRAINED_MODEL_ARCHIVE_MAP' из 'transformers.modeling_distilbert'

Я пытаюсь обучить модель distil BERT для ответа на вопрос. Я установил простые трансформаторы и все остальное, но когда я пытаюсь запустить следующую команду: model = QuestionAnsweringModel('distilbert', MODEL_PATH, args={'reprocess_input_data': Tru…
0 ответов

классификация huggingface distillbert с использованием многопроцессорной обработки

Я пытаюсь использовать многопроцессорную обработку torch для распараллеливания прогнозов из двух отдельных моделей классификации distillbert huggingface. Кажется, что на этапе прогнозирования он зашел в тупик. Я использую python 3.6.5, torch 1.5.0 и…
1 ответ

модель distilbert не работает в ktrain

Я пробовал использовать классификатор дистильберта. но я получаю следующую ошибку. Это мой код (X_train,y_train),(X_test,y_test),prepro =text.texts_from_df(train_df=data_train,text_column="Cleaned",label_columns=col ,val_df=data_test,maxle…
08 авг '20 в 04:32
5 ответов

ValueError: TextEncodeInput должен быть Union[TextInputSequence, Tuple[InputSequence, InputSequence]] - ошибка токенизации BERT / Distilbert

def split_data(path): df = pd.read_csv(path) return train_test_split(df , test_size=0.1, random_state=100) train, test = split_data(DATA_DIR) train_texts, train_labels = train['text'].to_list(), train['sentiment'].to_list() test_texts, test_labels =…
1 ответ

Генерация текста с использованием моделей distilbert huggingface

Я уже некоторое время борюсь с моделью DistilBERT от huggingface, так как документация кажется очень неясной и их примеры (например, https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-MLM-NSP.ipynb и https:/…
1 ответ

Несовместимые формы: [11768] vs. [1,5768] - вывод в производстве с сохраненной моделью huggingface

Я сохранил предварительно обученную версию distilbert, distilbert-base-uncased-finetuned-sst-2-english из моделей huggingface, и я пытаюсь обслуживать ее через Tensorflow Serve и делать прогнозы. На данный момент все проходит тестирование в Colab. У…
29 авг '20 в 03:47
1 ответ

Вход для изменения формы не соответствует запрошенной форме

Я знаю, что другие уже отправляли похожие вопросы, но я не смог найти здесь подходящего решения. Я написал собственный слой keras для усреднения результатов DistilBert на основе маски. То есть у меня естьdim=[batch_size, n_tokens_out, 768] входя в м…
31 июл '20 в 08:04
1 ответ

тонкая настройка huggingface DistilBERT для мультиклассовой классификации в настраиваемом наборе данных дает странную форму вывода при прогнозировании

Я пытаюсь настроить реализацию distilbert в huggingface для классификации нескольких классов (100 классов) в настраиваемом наборе данных, следуя руководству на https://huggingface.co/transformers/custom_datasets.html. Я делаю это с помощью Tensorflo…
0 ответов

Возможные улучшения модели DistilBERT / BERT

Я реализовал обычную версию DistilBERT, которая дает довольно плохую оценку F1 для моей задачи NER. Это можно увидеть ниже. Но я не могу найти никаких возможных улучшений этой ванильной версии ни в одной газете или на веб-сайте. Есть ли полезный спо…
1 ответ

distillbert ktrain 'слишком много значений, чтобы распаковать'

Я пытаюсь запустить DistilBert с ktrain в Colab, но получаю «ошибку слишком много значений для распаковки». Я пытаюсь выполнить классификацию токсичных комментариев, я загрузил 'train.csv' из CivilComments, я могу запустить BERT, но не DistilBert #p…
0 ответов

Как обрабатывать данные партиями в Tensorflow 2.0

У меня есть данные в формате csv. Я получаю данные из csv с помощью read_csv, а затем предварительно обрабатываю текст для DistilBERT - токенизация, а затем заполнение: train_csv = pd.read_csv(train_csv) train_df = train_csv[["text", "label"]] BATCH…
0 ответов

ошибка в Python при токенизации строки: проблема NLP

Я использую токенизатор distilbert-base-uncased для токенизации входной строки перед циклом обучения. Это для задачи НЛП (прогнозирования настроений), и я использую набор данных из 3 столбцов (ярлыки [мир, спорт, бизнес, наука / техника], заголовок …
29 май '21 в 15:54
0 ответов

Как связать табличные и текстовые данные с пакетом ktrain?

Я пытался последовать этому примеру . До этого я использовал учебник для табличных и классификации учебник длятекстовых данных, которые работали нормально. Теперь я пытаюсь объединить модели. Я не получаю никаких ошибок до самого последнего отмеченн…
1 ответ

Как сделать прогноз на тестовой последовательности, используя модель Дистилберта?

Я пытаюсь предсказать тестовую последовательность, используя Ktrain с моделью дистилберта, мой код выглядит так: trn, val, preproc = text.texts_from_array(x_train=x_train, y_train=y_train, x_test=x_test, y_test=y_test, class_names=train_b.target_nam…
0 ответов

Нужна помощь в интерпретации поведения кривых потерь

Я работаю над НЛП, используя предварительно обученную модель Distilbert, которую я настраиваю. Я использую оптимизатор Keras Adam. Среднеквадратичная ошибка - это моя функция потерь. Я разделяю данные на несколько складок и прогоняю каждую складку н…
0 ответов

Многозадачный NLP Distilbert

Я ищу техническое решение, подобное представленному на прилагаемом рисунке. Я бы хотел использовать в реализации Tensorflow. Меня интересуют учебные пособия, ресурсы или код для реализации такого рода решений или чего-то подобного, что я мог бы изме…
29 июл '21 в 17:25
1 ответ

Как выполнить перекрестную проверку в DistilBERT

Я сделал простую модель для классификации текста с помощью DistilBERT. Проблема в том, что я не могу понять, как выполнять перекрестную проверку во время обучения. Моя реализация кода представлена ​​ниже. Может ли кто-нибудь помочь мне реализовать п…
16 авг '21 в 15:13
0 ответов

Преобразование tensorflow.python.framework.ops.EagerTensor в: байты, юникод

gRPC ожидал значение байтового формата. Запросу не нравится тип тензора в gRPC. Я новичок в gRPC / API. Traceback (most recent call last): File "basic_grpc_example.py", line 120, in <module> request = client.PrimalRequest( TypeError: <tf.Te…
26 авг '21 в 16:39