Использование уменьшения размерности на матрице

Question

Для контролируемого обучения мой размер матрицы действительно огромен, в результате чего только некоторые модели соглашаются работать с ним. Я читал, что PCA может помочь уменьшить размерность в значительной степени.

Ниже мой код:

def run(command):
    output = subprocess.check_output(command, shell=True)
    return output

f = open('/Users/ya/Documents/10percent/Vik.txt','r')
vocab_temp = f.read().split()
f.close()
col = len(vocab_temp)
print("Training column size:")
print(col)

#dataset = list()

row = run('cat '+'/Users/ya/Documents/10percent/X_true.txt'+" | wc -l").split()[0]
print("Training row size:")
print(row)
matrix_tmp = np.zeros((int(row),col), dtype=np.int64)
print("Train Matrix size:")
print(matrix_tmp.size)
        # label_tmp.ndim must be equal to 1
label_tmp = np.zeros((int(row)), dtype=np.int64)
f = open('/Users/ya/Documents/10percent/X_true.txt','r')
count = 0
for line in f:
    line_tmp = line.split()
    #print(line_tmp)
    for word in line_tmp[0:]:
        if word not in vocab_temp:
            continue
        matrix_tmp[count][vocab_temp.index(word)] = 1
    count = count + 1
f.close()
print("Train matrix is:\n ")
print(matrix_tmp)
print(label_tmp)
print(len(label_tmp))
print("No. of topics in train:")
print(len(set(label_tmp)))
print("Train Label size:")
print(len(label_tmp))

Я хочу применить PCA к matrix_tmp, так как он имеет размер около (202180x9984). Как я могу изменить свой код, чтобы включить его?

Answer 1

import codecs
from sklearn.decomposition import TruncatedSVD
from sklearn.feature_extraction.text import CountVectorizer
with codecs.open('input_file', 'r', encoding='utf-8') as inf:
    lines = inf.readlines()
vectorizer = CountVectorizer(binary=True)
X_train = vectorizer.fit_transform(lines)
perform_pca = False
if perform_pca:
    n_components = 100
    pca = TruncatedSVD(n_components)
    X_train = pca.fit_transform(X_train)

1- Выполните векторизацию с помощью доступных векторизаторов в sklearn, которая создает разреженные матрицы вместо полной матрицы с массивными нулевыми значениями.

2- делать СПС только при необходимости

3- Для производительности играйте с параметрами вашего векторизатора и pca, если это необходимо.

Answer 2

Scikit-learn предоставляет несколько реализаций PCA. Один полезный TruncatedSVD, Его использование довольно просто:

from sklearn.decomposition import TruncatedSVD

n_components=100
pca = TruncatedSVD(n_components)
matrix_reduced = pca.fit_transform(matrix_tmp)