Векторизация файлов с использованием sklearn

Question

Я пытаюсь прочитать 100 учебных файлов и векторизовать их, используя sklean. Содержимое этих файлов является словом, представляющим системные вызовы. После векторизации я хотел бы распечатать векторы. Моей первой попыткой было следующее:

import re
import os
import sys
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
import numpy as np
import numpy.linalg as LA

trainingdataDir = 'C:\data\Training data'

def readfile():
    for file in os.listdir(trainingdataDir):
        trainingfiles = os.path.join(trainingdataDir, file)
        if os.path.isfile(trainingfiles):
         data = open(trainingfiles, "rb").read()

    return data 

train_set = [readfile()]

vectorizer = CountVectorizer()
transformer = TfidfTransformer()

trainVectorizerArray = vectorizer.fit_transform(train_set).toarray()
print 'Fit Vectorizer to train set', trainVectorizerArray

Однако это возвращает только вектор для последнего файла. Я пришел к выводу, что функция печати должна быть помещена в цикл for. Итак, вторая попытка:

def readfile():
    for file in os.listdir(trainingdataDir):
        trainingfiles = os.path.join(trainingdataDir, file)
        if os.path.isfile(trainingfiles):
         data = open(trainingfiles, "rb").read()
    trainVectorizerArray = vectorizer.fit_transform(data).toarray()
    print 'Fit Vectorizer to train set', trainVectorizerArray          

Однако это ничего не возвращает. Не могли бы вы помочь мне с этим? Почему я не вижу распечатываемых векторов?

Answer 1

Проблема заключалась в том, что список наборов данных, используемых для векторизации, был пустым. Мне удалось векторизовать набор из 100 файлов. Сначала я открыл файлы, затем прочитал каждый файл и, наконец, добавил их в список. Затем список данных используется "tfidf_vectorizer"

import re
import os
import sys
import numpy as np
import numpy.linalg as LA
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer

trainingdataDir = 'C:\\data\\Training data'

tfidf_vectorizer = TfidfVectorizer()

transformer = TfidfTransformer()
def readfile(trainingdataDir):
    train_set = []
    for file in os.listdir(trainingdataDir):
        trainingfiles = os.path.join(trainingdataDir, file)
        if os.path.isfile(trainingfiles): 
            data = open(trainingfiles, 'r')
            data_set=str.decode(data.read())
            train_set.append(data_set)
    return train_set 


tfidf_matrix_train = tfidf_vectorizer.fit_transform(readfile(trainingdataDir))
print 'Fit Vectorizer to train set',tfidf_matrix_train
print "cosine scores ==> ",cosine_similarity(tfidf_matrix_train[0:1], tfidf_matrix_train)