Особенности с высокой кардинальностью (как их векторизовать?)

Question

Особенности с высокой кардинальностью (как их векторизовать?)

Я пытаюсь запустить задачу машинного обучения, используя scikit learn для набора данных, и один из столбцов (функция) имеет высокую мощность около 300 КБ уникальных значений. Как мне векторизовать такую функцию. Использование DictVectorizer не будет решением, так как машине не хватает памяти.

В нескольких постах я читал, что могу просто присвоить номера всем этим строковым значениям, но это приведет к вводящим в заблуждение результатам.

Кто-нибудь имел дело с такого рода набором функций. Если так, как векторизовать его, чтобы я мог передать его для обучения модели?

1

python machine-learning scikit-learn apache-spark-mllib

Источник

user2217866 09 окт '15 в 16:34

1 ответ

Решение

Другие вопросы по тегам python machine-learning scikit-learn apache-spark-mllib

user644506 09 окт '15 в 17:10 2015-10-09 17:10 · Accepted Answer · 2015-10-09 17:10

Пытаться FeatureHasher, Это

представляет собой альтернативу DictVectorizer и CountVectorizer с низким объемом памяти, предназначенную для крупномасштабного (интерактивного) обучения и ситуаций, когда память ограничена, например, при запуске кода прогнозирования на встроенных устройствах.