Ошибка атрибута: нижний не найден

Question

Я делаю классификацию документов и получил точность до 76%. И, предсказывая категорию документа, я сделал следующий

doc_clf.predict(tf_idf.transform((count_vect.transform([r'document']))))

и я получаю следующую ошибку:

File "/usr/local/lib/python3.5/dist- packages/sklearn/utils/metaestimators.py", line 115, in <lambda>
  out = lambda *args, **kwargs: self.fn(obj, *args, **kwargs)
File "/usr/local/lib/python3.5/dist-packages/sklearn/pipeline.py", line 306, in predict
  Xt = transform.transform(Xt)
File "/usr/local/lib/python3.5/dist-packages/sklearn/feature_extraction/text.py", line 923, in transform
  _, X = self._count_vocab(raw_documents, fixed_vocab=True)
File "/usr/local/lib/python3.5/dist-packages/sklearn/feature_extraction/text.py", line 792, in _count_vocab
  for feature in analyze(doc):
File "/usr/local/lib/python3.5/dist-packages/sklearn/feature_extraction/text.py", line 266, in <lambda>
  tokenize(preprocess(self.decode(doc))), stop_words)
File "/usr/local/lib/python3.5/dist-packages/sklearn/feature_extraction/text.py", line 232, in <lambda>
  return lambda x: strip_accents(x.lower())
File "/usr/local/lib/python3.5/dist-packages/scipy/sparse/base.py", line 647, in __getattr__
  raise AttributeError(attr + " not found")

Как я могу исправить эту ошибку? И есть ли еще способ повысить точность?

Я делюсь ссылкой, чтобы просмотреть полный код Полный код

Answer 1

В вашем коде doc_clf это трубопровод. Итак tf_idf.transform() а также count_vect.transform() будет обработан автоматически конвейером.

Вы должны только позвонить

category = doc_clf.predict([r'document'])

Когда этот документ проходит через конвейер, он будет автоматически преобразован CountVectorizer и TfidfTransformer.