Использование Pytorch-трансформаторов hugfaceface GPT-2 для задач классификации

Question

Я хочу использовать GPT-2 для создания модели классификатора текста. Я не совсем уверен, какую голову я должен добавить после извлечения функций через GPT-2. Например, у меня есть последовательность.

import pytorch_transformers as pt 
import torch
text=test.iloc[1,1]
text
'If a fire wanted fanning, it could readily be fanned with a newspaper, and as the government grew weaker, I have no doubt that leather and iron acquired durability in proportion, for, in a very short time, there was not a pair of bellows in all Rotterdam that ever stood in need of a stitch or required the assistance of a hammer.'
len(text)

74
tokenizer = pt.GPT2Tokenizer.from_pretrained('gpt2')
model = pt.GPT2Model.from_pretrained('gpt2')
zz = tokenizer.tokenize(text)
z1=torch.tensor([tokenizer.convert_tokens_to_ids(zz)])
z1
tensor([[ 1532,   257,  2046,  2227,  4336,   768,    11,   340,   714, 14704,
           307,   277,  3577,   351,   257,  7533,    11,   290,   355,   262,
          1230,  6348, 17642,    11,   314,   423,   645,  4719,   326, 11620,
           290,  6953,  9477, 26578,   287,  9823,    11,   329,    11,   287,
           257,   845,  1790,   640,    11,   612,   373,   407,   257,  5166,
           286,  8966,  1666,   287,   477, 18481,   353, 11043,   326,  1683,
          6204,   287,   761,   286,   257, 24695,   393,  2672,   262,  6829,
           286,   257, 15554,    13]])
output,hidden=model(z1)
ouput.shape
torch.Size([1, 74, 768])

для меня вывод GPT2 равен n x m x 768, где n - размер пакета,m - количество токенов в последовательности (например, я могу дополнить / усечь до 128), поэтому я не могу сделать то, что сказано в документе для Задача классификации - просто добавить полностью связанный слой в хвост. И я искал в Google, несколько задач классификации GPT-2 упоминаются. Я не уверен, что это правильно. Должен ли я делать выравнивание / максимальное объединение / среднее объединение перед полностью подключенным слоем или что-то еще?

Answer 1

"поэтому я не могу сделать то, что, как сказано в документе, для задачи классификации, просто добавить полностью связанный слой в хвост". - Это ответ на ваш вопрос.

Обычно такие трансформеры, как BERT и Roberta, обладают двунаправленным вниманием к себе, и у них есть токен [CLS], который мы передаем классу. Поскольку GPT-2 является левым-правым, вам необходимо передать последний токен последовательности встраивания.

PS - Можете ссылку на бумагу выложить.

Answer 2

Если вы построили модель с использованием GPT-2 для классификации текста, поделитесь.