UnicodeDecodeError: кодек "utf8" не может декодировать байт 0xb5 в позиции 894: недопустимый начальный байт

Question

Я использую scikit-learn для проекта. При выполнении извлечения функций (учебное пособие working_with_text_data) я получаю UnicodeDecodeError: кодек "utf8" не может декодировать байт.

Использование Python 2.7.8 и сборка scikit-learn используя make.

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(dataset.data)
print(X_train_counts.shape)

Пожалуйста, помогите, как решить?

Answer 1

При использовании функции load_files кодировка должна быть latin1

twenty_train = load_files('path/to/folder',encoding='latin1')

в sklearn/ наборы данных / fifty_newscroups.py

function _download_20newsgroups
...
load_files(train_path, encoding='latin1')