модуль «tensorflow_datasets.core.features» не имеет атрибута «текст»

Question

Всем добрый день, я разрабатываю Sentiment Analysis с помощью Tensorflow, используя некоторые обзоры, основанные на электронике на Amazon. В коде я столкнулся с ошибкой. Я использовал наборы данных tensorflow для извлечения некоторых текстов, но не смог. Вот часть кода, содержащая ошибку ниже:

      tokenizer = tfds.features.text.Tokenizer()

vocabulary_set = set()
for _, reviews in train_dataset.enumerate():
review_text = reviews['data']
reviews_tokens = tokenizer.tokenize(review_text.get('review_body').numpy())
vocabulary_set.update(reviews_tokens)
vocab_size = len(vocabulary_set)
vocab_size

Ошибка, которую я получил отсюда, - это ошибка атрибута

      AttributeError                            Traceback (most recent call last)
<ipython-input-17-1c32dce13853> in <module>()
----> 1 tokenizer = tfds.features.text.Tokenizer()
AttributeError: module 'tensorflow_datasets.core.features' has no attribute 'text'

Пожалуйста, как я могу решить эту ошибку? Спасибо

Answer 1

Он устарел , но вы все равно можете получить к нему доступ следующим образом:

      import tensorflow_datasets as tfds

tokenizer = tfds.deprecated.text.Tokenizer()

tokenizer.tokenize('hey how are you?')

      ['hey', 'how', 'are', 'you']