Обнимающее лицо: NameError: имя 'предложения' не определено
Я следую этому руководству здесь: https://huggingface.co/transformers/training.html - хотя я сталкиваюсь с ошибкой, и я думаю, что в учебнике отсутствует импорт, но я не знаю, какой именно.
Это мой текущий импорт:
# Transformers installation
! pip install transformers
# To install from source instead of the last release, comment the command above and uncomment the following one.
# ! pip install git+https://github.com/huggingface/transformers.git
! pip install datasets transformers
from transformers import pipeline
Текущий код:
from datasets import load_dataset
raw_datasets = load_dataset("imdb")
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
inputs = tokenizer(sentences, padding="max_length", truncation=True)
Ошибка:
NameError Traceback (most recent call last)
<ipython-input-9-5a234f114e2e> in <module>()
----> 1 inputs = tokenizer(sentences, padding="max_length", truncation=True)
NameError: name 'sentences' is not defined
3 ответа
В сообщении об ошибке указано, что у вас нет переменной с именем
sentencesв объеме. Я считаю, что в руководстве предполагается, что у вас уже есть список предложений, и вы его токенизируете.
Изучите документацию . Первый аргумент может быть строкой, списком строк или списком строк.
__call__(text: Union[str, List[str], List[List[str]]],...)
Эта ошибка связана с тем, что вы не объявили предложения. Теперь вам нужно получить доступ к необработанным данным, используя:
k = raw_datasets['train']
sentences = k['text']
создать переменную
sentences = ["Hello I'm a single sentence",
"And another sentence",
"And the very very last one"]
«Как мы видели в разделе« Предварительная обработка данных » , мы можем подготовить текстовые входные данные для модели с помощью следующей команды (это пример, а не команда, которую вы можете выполнить)»