torchtext BucketIterator минимальное заполнение

Question

Я пытаюсь использовать функцию BucketIterator.splits в torchtext для загрузки данных из CSV-файлов для использования в CNN. Все работает нормально, если у меня нет пакета, в котором самое длинное предложение короче, чем самый большой размер фильтра.

В моем примере у меня есть фильтры размеров 3, 4 и 5, поэтому, если в самом длинном предложении нет как минимум 5 слов, я получаю ошибку. Есть ли способ позволить BucketIterator динамически устанавливать заполнение для пакетов, но также устанавливать минимальную длину заполнения?

Это мой код, который я использую для моего BucketIterator:

train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text), batch_size=batch_size, repeat=False, device=device)

Я надеюсь, что есть способ установить минимальную длину для sort_key или что-то в этом роде?

Я пробовал это, но это не работает:

FILTER_SIZES = [3,4,5]
train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text) if len(x.text) >= FILTER_SIZES[-1] else FILTER_SIZES[-1], batch_size=batch_size, repeat=False, device=device) 

Answer 1

Я просмотрел исходный код torchtext, чтобы лучше понять, что делает sort_key, и понял, почему моя оригинальная идея не сработала.

Я не уверен, является ли это лучшим решением или нет, но я нашел решение, которое работает. Я создал функцию токенизатора, которая дополняет текст, если он короче самой длинной длины фильтра, а затем создаю BucketIterator оттуда.

FILTER_SIZES = [3,4,5]
spacy_en = spacy.load('en')

def tokenizer(text):
    token = [t.text for t in spacy_en.tokenizer(text)]
    if len(token) < FILTER_SIZES[-1]:
        for i in range(0, FILTER_SIZES[-1] - len(token)):
            token.append('<PAD>')
    return token

TEXT = Field(sequential=True, tokenize=tokenizer, lower=True, tensor_type=torch.cuda.LongTensor)

train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text), batch_size=batch_size, repeat=False, device=device)

Answer 2

Хотя подход @paul41 работает, это несколько неправильное использование. Правильный способ сделать это - использоватьpreprocessing или postprocessing(до или после оцифровки соответственно). Вот примерpostprocessing:

def get_pad_to_min_len_fn(min_length):
    def pad_to_min_len(batch, vocab, min_length=min_length):
        pad_idx = vocab.stoi['<pad>']
        for idx, ex in enumerate(batch):
            if len(ex) < min_length:
                batch[idx] = ex + [pad_idx] * (min_length - len(ex))
        return batch
    return pad_to_min_len

FILTER_SIZES = [3,4,5]
min_len_padding = get_pad_to_min_len_fn(min_length=max(FILTER_SIZES))

TEXT = Field(sequential=True, use_vocab=True, lower=True, batch_first=True, 
             postprocessing=min_len_padding)

Вложенные функции, необходимые для передачи параметров внутренней функции, если те, которые определены в основном цикле (например, min_length = max(FILTER_SIZES)), но параметры можно жестко запрограммировать внутри функции, если это работает.