Как использовать другую предварительно обученную модель BERT с классификатором текста ktrain?

Question

Как мы можем использовать другую предварительно обученную модель для классификатора текста в библиотеке ktrain? Когда используешь:

model = text.text_classifier('bert', (x_train, y_train), preproc =preproc)

Здесь используется многоязычная предварительно обученная модель

Однако я хочу попробовать и одноязычную модель. А именно голландцы один: "" wietsedv/ Берт-база-нидерландская-обсаженные", который также используется в других реализациях к-поезде, например.

Однако при попытке использовать эту команду в классификаторе текста она не работает:

model = text.text_classifier('bert', (x_train, y_train) ,
> preproc=preproc, bert_model='wietsedv/bert-base-dutch-cased')

или

model = text.text_classifier('wietsedv/bert-base-dutch-cased', (x_train, y_train), preproc=preproc)

У кого-нибудь как это сделать? Благодарность!

Answer 1

В ktrain есть два API классификации текста. Первый - этоtext_classifierAPI, который можно использовать для определенного количества моделей трансформаторов и нетрансформаторов. Второй - этоTransformer API, который можно использовать с любым transformers модель, включая указанную вами.

Последнее подробно объясняется в этой обучающей записной книжке и в этой средней статье.

Например, вы можете заменить MODEL_NAME с любой моделью, которую вы хотите в примере ниже:

Пример:

# load text data
categories = ['alt.atheism', 'soc.religion.christian','comp.graphics', 'sci.med']
from sklearn.datasets import fetch_20newsgroups
train_b = fetch_20newsgroups(subset='train', categories=categories, shuffle=True)
test_b = fetch_20newsgroups(subset='test',categories=categories, shuffle=True)
(x_train, y_train) = (train_b.data, train_b.target)
(x_test, y_test) = (test_b.data, test_b.target)

# build, train, and validate model (Transformer is wrapper around transformers library)
import ktrain
from ktrain import text
MODEL_NAME = 'distilbert-base-uncased'  # replace this with model of choice
t = text.Transformer(MODEL_NAME, maxlen=500, class_names=train_b.target_names)
trn = t.preprocess_train(x_train, y_train)
val = t.preprocess_test(x_test, y_test)
model = t.get_classifier()
learner = ktrain.get_learner(model, train_data=trn, val_data=val, batch_size=6)
learner.fit_onecycle(5e-5, 4)
learner.validate(class_names=t.get_classes()) # class_names must be string values

# Output from learner.validate()
#                        precision    recall  f1-score   support
#
#           alt.atheism       0.92      0.93      0.93       319
#         comp.graphics       0.97      0.97      0.97       389
#               sci.med       0.97      0.95      0.96       396
#soc.religion.christian       0.96      0.96      0.96       398
#
#              accuracy                           0.96      1502
#             macro avg       0.95      0.96      0.95      1502
#          weighted avg       0.96      0.96      0.96      1502