Описание тега torchtext
NoneTorchtext - это текстовая библиотека PyTorch, которая предоставляет загрузчики данных и абстракции для обработки естественного языка.
1
ответ
Итерация по объекту Torchtext.data.BucketIterator выбрасывает объект AttributeError 'Field' не имеет атрибута 'vocab'
Когда я пытаюсь посмотреть пакет, напечатав следующую итерацию BucketIterator объект, AttributeError брошен tv_datafields=[("Tweet",TEXT), ("Anger",LABEL), ("Fear",LABEL), ("Joy",LABEL), ("Sadness",LABEL)] train, vld = data.TabularDataset.splits(pat…
08 июл '18 в 12:08
2
ответа
batch_size не совпадает в torchtext BucketIterator
Я поставил batch_size равно 64, но когда я распечатаю train_batch и val_batch, размер не равен 64. Данные поезда и данные в формате VAL представлены в следующем формате: Во-первых, я определяю TEXT а также LABEL поле. tokenize = lambda x: x.split() …
22 янв '19 в 11:57
1
ответ
Tokenizer не работает должным образом в torchtext
У меня проблема с факелами, и я долго боролся с ней. Я пытался токенизировать и оцифровать текст, используя torchtext и spacy. Я определил свой токенизатор так: def Sp_Tokenizer(text): return [tok.text for tok in spacy_en.tokenizer(text)] Работало х…
12 дек '18 в 12:13
0
ответов
Как я могу добавить функцию, используя torchtext?
torchtext может прочитать файл с несколькими столбцами, каждый из которых соответствует полю. Что делать, если я хочу создать новый столбец (который я буду использовать в качестве функции)? Например, представьте, что файл содержит два столбца, текст…
19 янв '19 в 14:07
1
ответ
Как создать torchtext.data.TabularDataset прямо из списка или продиктовать
torchtext.data.TabularDataset может быть создан из файла TSV/JSON/CSV, а затем может быть использован для построения словаря из Glove, FastText или любых других вложений. Но мое требование состоит в том, чтобы создать torchtext.data.TabularDataset н…
29 окт '18 в 13:31
1
ответ
Torchtext TabularDataset: data.Field не содержит фактических импортированных данных?
Из документации Torchtext я узнал, что способ импортировать CSV-файлы - через TabularDataset. Я сделал это так: train = data.TabularDataset(path='./data.csv', format='csv', fields=[("label",data.Field(use_vocab=True,include_lengths=False)), ("statem…
10 авг '18 в 16:22
0
ответов
Как сохранить набор данных torchtext?
Я работаю с текстом и пользуюсь torchtext.data.Dataset, Создание набора данных занимает значительное время. Для просто запуска программы это все еще приемлемо. Но я хотел бы отладить код факела для нейронной сети. И если python запускается в режиме …
21 ноя '18 в 23:44
1
ответ
Как отформатировать файлы TSV для использования с torchtext?
То, как я форматирую, выглядит так: Jersei N atinge V média N . PU Programe V ... Первая строка в каждой строке - лексический элемент, вторая - тег pos. Но пустая строка (которую я использую, чтобы указать конец предложения) дает мне ошибку Attribut…
02 июл '18 в 00:09
1
ответ
torchtext BucketIterator минимальное заполнение
Я пытаюсь использовать функцию BucketIterator.splits в torchtext для загрузки данных из CSV-файлов для использования в CNN. Все работает нормально, если у меня нет пакета, в котором самое длинное предложение короче, чем самый большой размер фильтра.…
09 июл '18 в 18:49
0
ответов
Расширение словарного запаса при развертывании
При выполнении обучения я инициализирую свою матрицу встраивания, используя предварительно обученные вложения, выбранные для слов в словаре обучающего набора. import torchtext as tt contexts = tt.data.Field(lower=True, sequential=True, tokenize=toke…
09 окт '18 в 08:06
1
ответ
Используйте предварительно обученное вложение на испанском языке с Torchtext
Я использую Torchtext в проекте НЛП. У меня есть предтренированное встраивание в мою систему, которое я хотел бы использовать. Поэтому я попробовал: my_field.vocab.load_vectors(my_path) Но, по-видимому, это почему-то принимает только имена из коротк…
07 сен '18 в 14:23
0
ответов
В кратком обзоре фильмов в формате "ai dl1", лекция 4, при прогнозировании следующего слова, где они указали ввод и вывод?
Я новичок в pytorch и, возможно, поэтому не понимаю, прошу прощения за мои ошибки. Я смотрел быстрые видео. но не смог выяснить, где они указывают выходные данные для входного набора данных. Я опишу мое понимание ниже. Пожалуйста, скажите мне, где я…
06 ноя '18 в 08:09
0
ответов
AttributeError: у объекта 'Field' нет атрибута 'vocab'
Возвращенный итератор BucketIterator выдает ошибку. train_iterator = data.BucketIterator.splits( train_data, batch_size=BATCH_SIZE, device=device ) Значение train_data также выглядит хорошо. print(vars(train_data.examples[10])) {'text': ['plus', "yo…
14 ноя '18 в 12:21
0
ответов
Pytorch: конвертировать тензор обратно в исходный текст, используя текст факела
В настоящее время я выполняю задачу классификации текста с помощью Pytorch на Google Colab. Я могу конвертировать текст в torch.tensor. Однако мне трудно преобразовать числовой torch.tensor обратно в исходный текст. Я просмотрел документацию несколь…
04 дек '18 в 01:46
1
ответ
Можно ли увидеть прочитанные данные файла pytorchtext.data.Tabulardataset?
train, test = data.TabularDataset.splits(path="./data/", train="train.csv",test="test.csv",format="csv",fields=[("Tweet",TEXT), ("Affect Dimension",LABEL)]) У меня есть этот код, и я хочу оценить, правильно ли загружены данные или используются непра…
05 июл '18 в 03:36
2
ответа
AttributeError: у объекта 'module' нет атрибута 'float32'
Я пытаюсь использовать OpenNMT-py с Python 2.7. OpenNMT-py требует torchtext, поэтому я установил его, но теперь, когда я запускаю свою программу, я получаю следующее сообщение об ошибке. Traceback (most recent call last): File "examples/StackPointe…
05 май '18 в 06:13
0
ответов
Как поделиться словарем между полями?
Мой код похож на ниже: field1 = data.Field(lower=True) field2 = data.Field(lower=True) ... field1.build_vocab(train, dev) field2.build_vocab(train, dev) Но мне нужно только поле (например, совместное вложение), содержащее оба field1.vocab а также fi…
24 июл '18 в 04:42
0
ответов
BucketIterator.splits выдает итераторы различной длины последовательности
Я использовал BucketIterator.splits создать итераторы для обучения и проверки набора. Я получил два итератора с очень разным распределением длин последовательностей. Я ожидаю, что расколы будут более симметричными. Я что-то пропустил? Вот короткая т…
20 май '18 в 14:23
1
ответ
Невозможно импортировать модуль torchtext в блокнот jupyter при использовании pytorch
Я установил pytorch с помощью anaconda3 и создал виртуальную среду conda под названием "torchTest". Я установил все необходимые модули, но коды не работают в Jupyter Python. Я установил torchtext с помощью 1.pip install https://github.com/pytorch/t…
21 июл '18 в 02:55
0
ответов
Добавьте поле в набор данных torchtext, например, функцию "Применить" в панде.
В pandas dataframe можно использовать функцию "apply" для обработки фрейма данных и добавления вывода как дополнительного столбца к фрейму данных. Имеет ли torchtext аналогичную функцию "применять" для вставки столбца в набор табличных данных? Благо…
07 янв '19 в 19:52