Python: Как оценить невязки в StatsModels?

Question

Я хочу оценить остатки: (у-хет у).

Я знаю, как это сделать:

df = pd.read_csv('myFile', delim_whitespace = True, header = None)
df.columns = ['column1', 'column2']
y, X = ps.dmatrices('column1 ~ column2',data = df, return_type = 'dataframe')
model = sm.OLS(y,X)
results = model.fit()
predictedValues = results.predict()
#print predictedValues
yData = df.as_matrix(columns = ['column1'])
res = yData - predictedValues

Интересно, есть ли способ сделать это (?).

Answer 1

Это хранится в resid атрибут класса Results

Также есть results.fittedvalues метод, так что вам не нужно results.predict(),

Answer 2

Если вы ищете различные (масштабированные) остатки, такие как остатки, обработанные внешне / внутренне, остатки PRESS и другие, взгляните на OLSInfluence класс внутри statsmodels.

Используя результаты (a RegressionResults объект) из вашего соответствия, вы создаете экземпляр OLSInfluenceобъект, для которого будут вычислены все эти свойства. Вот небольшой пример:

import statsmodels.api as sm
from statsmodels.stats.outliers_influence import OLSInfluence

data = sm.datasets.spector.load(as_pandas=False)
X = data.exog
y = data.endog

# fit the model
model = sm.OLS(y, sm.add_constant(X, prepend=False))
fit = model.fit()

# compute the residuals and other metrics
influence = OLSInfluence(fit)

Answer 3

Нормальность остатков

Вариант 1: тест Жарка-Бера

name = ['Jarque-Bera', 'Chi^2 two-tail prob.', 'Skew', 'Kurtosis']
test = sms.jarque_bera(results.resid)
lzip(name, test)

Вне:

[('Jarque-Bera', 3.3936080248431666),
 ('Chi^2 two-tail prob.', 0.1832683123166337),
 ('Skew', -0.48658034311223375),
 ('Kurtosis', 3.003417757881633)]
Omni test:

Вариант 2: Омни-тест

name = ['Chi^2', 'Two-tail probability']
test = sms.omni_normtest(results.resid)
lzip(name, test)

Вне:

[('Chi^2', 3.713437811597181), ('Two-tail probability', 0.15618424580304824)]