Библиотека fastai автоматически выводит текст и метку из заголовка?

Question

У меня есть объект dataframe, который имеет два поля, то есть текст и метку, и я хочу сделать классификацию текста, аналогичную ULMFit

Вот коды для этого с конкретной целью ниже

data_lm = TextLMDataBunch.from_df(train_df = df_trn, valid_df = df_val, path = "")

# Language model learner object

data_clas = TextClasDataBunch.from_df(path = "", train_df = df_trn, valid_df = df_val, vocab=data_lm.train_ds.vocab, bs=32)

объект классификации

learn = language_model_learner(data_lm, AWD_LSTM, drop_mult=0.5)

# learn language model object

learn.fit_one_cycle(10, 1e-2)

# Fit a language model

learn.save_encoder('good_ft_enc')

# save the encoder of the language model

learn = text_classifier_learner(data_clas,AWD_LSTM,drop_mult=0.7)

learn.load_encoder('good_ft_enc')

# classifier object with the loaded encoder

learn.fit_one_cycle(3, 1e-2)

# fit the classifier

Это последовательность шагов, но я не могу понять, загрузил ли dataloader мой текст и поле метки правильно, потому что я не дал их нигде в аргументах функции. Любая помощь будет оценена

Answer 1

API блока данных является фундаментальным строительным блоком для недавнего fastai 1.0+

Поэтому либо TextLMDataBunch.from_df (или же TextClasDataBunch.from_df) делать несколько вещей от вашего имени, включая определение набора данных факела, создание меток, разбиение их на поезд / тестирование и т. д.

Я настоятельно рекомендую вам ознакомиться с документами блока данных.

https://docs.fast.ai/data_block.html