StandardScaler дает неоднородное стандартное отклонение

Question

Моя проблема заключается в следующем: Python 3.7, Pandas версии 1.0.3 и sklearn версии 0.22.1. Я обычно применяю StandardScaler (к каждому столбцу матрицы с плавающей запятой). Однако столбцы, которые я получил, не имеют стандартного отклонения =1, а их средние значения (приблизительно) равны 0.

Я не уверен, что здесь не так, я проверил, scaler запутался и стандартизировал строки, но, похоже, это не так.

from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np
np.random.seed(1)
row_size = 5
n_obs = 100
X = pd.DataFrame(np.random.randint(0,1000,n_obs).reshape((row_size,int(n_obs/row_size)))

scaler = StandardScaler()
scaler.fit(X)
X_out = scaler.transform(X)
X_out = pd.DataFrame(X_out)

Все столбцы имеют стандартное отклонение 1.1180... в отличие от 1.

X_out[0].mean()
>>Out[2]: 4.4408920985006264e-17
X_out[0].std()
>>Out[3]: 1.1180339887498947

РЕДАКТИРОВАТЬ: я понял, как я увеличиваюrow_sizeвыше, например, от 5 до 10 и 100, стандартное отклонение столбцов приближается к 1. Так что, возможно, это связано с тем, что смещение оценщика дисперсии становится меньше с увеличением n (?). Однако не имеет смысла получить дисперсию единиц, вручную реализовав(col[i]- col[i].mean() )/ col[i].std() но StandardScaler борется...

Answer 1

Numpy и Pandas используют разные определения стандартного отклонения (предвзятый или непредвзятый). Sklearn использует определение numpy, поэтому результатscaler.transform(X).std(axis=1) приводит к 1с.

Но затем вы переносите стандартизованные значения X_out в pandas DataFrame и попросите pandas дать вам стандартное отклонение для тех же значений, что затем приведет к вашему наблюдению.

В большинстве случаев вы заботитесь только о том, чтобы все столбцы имели одинаковый разброс, поэтому различия не важны. Но если вы действительно хотите получить объективное стандартное отклонение, вы не можете использовать StandardScaler из sklearn.