Панды прокатки корр без перекрытия
У меня есть несколько серий возвратов цен, и я хотел бы рассчитать скользящую N-дневную корреляцию таким образом, чтобы не было совпадений между датами, т. Е. Если моя первая корреляционная матрица принадлежит [2000-04-05 - 2000-06-04], следующая корреляционная матрица должна принадлежать [2000-06-05 - 2000-08-04]. Использование обычного df.rolling(window=window).corr(df, pairwise=True) вернет перекрывающиеся даты.
Я знаю, что нарезка результата от скользящего подхода даст мне то, что я хочу, но это означает, что мы используем время для вычисления корреляций, которые я не буду использовать, что приведет к пустой трате ресурсов.
Какие-либо предложения?
ОБНОВИТЬ:
Это пример того, как выглядит вход:
ОБНОВЛЕНИЕ 2:
outputs for pd.show_versions()
INSTALLED VERSIONS
------------------
commit: None
python: 3.6.3.final.0
python-bits: 64
OS: Windows
OS-release: 10
machine: AMD64
processor: Intel64 Family 6 Model 63 Stepping 2, GenuineIntel
byteorder: little
LC_ALL: None
LANG: en
LOCALE: None.None
pandas: 0.20.3
pytest: 3.2.1
pip: 9.0.1
setuptools: 36.5.0.post20170921
Cython: 0.26.1
numpy: 1.14.5
scipy: 0.19.1
xarray: None
IPython: 6.1.0
sphinx: 1.6.3
patsy: 0.4.1
dateutil: 2.6.1
pytz: 2017.2
blosc: None
bottleneck: 1.2.1
tables: 3.4.2
numexpr: 2.6.2
feather: None
matplotlib: 2.1.0
openpyxl: 2.4.8
xlrd: 1.1.0
xlwt: 1.3.0
xlsxwriter: 1.0.2
lxml: 4.1.0
bs4: 4.6.0
html5lib: 0.999999999
sqlalchemy: 1.1.13
pymysql: None
psycopg2: None
jinja2: 2.9.6
s3fs: None
pandas_gbq: None
pandas_datareader: None
2 ответа
resample
Ты можешь использовать pd.DataFrame.resample
указать правило времени 20 дней с "20D"
, Использовать on
аргумент для указания столбца, который должен быть пересчитан. Результирующий resample
объект похож на groupby
объект и может обрабатывать apply
метод.
def dcorr(df, n):
return df.resample(f"{n}D", on='date').apply(lambda d: d.corr())
dcorr(df, 20)
A B
date
2000-01-01 A 1.000000 0.241121
B 0.241121 1.000000
2000-01-21 A 1.000000 0.083664
B 0.083664 1.000000
2000-02-10 A 1.000000 0.432988
B 0.432988 1.000000
2000-03-01 A 1.000000 -0.269869
B -0.269869 1.000000
2000-03-21 A 1.000000 -0.188370
B -0.188370 1.000000
groupby
df.set_index('date').groupby(pd.Grouper(freq='20D')).corr()
A B
date
2000-01-01 A 1.000000 0.241121
B 0.241121 1.000000
2000-01-21 A 1.000000 0.083664
B 0.083664 1.000000
2000-02-10 A 1.000000 0.432988
B 0.432988 1.000000
2000-03-01 A 1.000000 -0.269869
B -0.269869 1.000000
2000-03-21 A 1.000000 -0.188370
B -0.188370 1.000000
Или же
df.set_index('date').groupby(pd.Grouper(freq='20D')).corr().unstack()[('A', 'B')]
date
2000-01-01 0.241121
2000-01-21 0.083664
2000-02-10 0.432988
2000-03-01 -0.269869
2000-03-21 -0.188370
Name: (A, B), dtype: float64
Вы также можете явно указать столбцы, которые хотите соотнести:
df.resample("20D", on='date').apply(lambda d: d.A.corr(d.B))
Настроить
np.random.seed([3, 1415])
n = 100
df = pd.DataFrame(np.random.rand(n,2), columns=['A','B'])
df['date'] = pd.date_range('2000-01-01', periods=n, name='date')
DEBUGGING
import pandas as pd
import numpy as np
np.random.seed([3, 1415])
n = 100
df = pd.DataFrame(
np.random.rand(n, 4),
pd.date_range('2000-01-01', periods=n, name='date'),
['ABC','XYZ __', 'One', 'Two Three']
)
def dcorr(df, n):
return df.resample(f"{n}D").apply(lambda d: d.corr())
dcorr(df, 20)
ВЫХОД
ABC XYZ __ One Two Three
date
2000-01-01 ABC 1.000000 -0.029687 0.403720 0.078800
XYZ __ -0.029687 1.000000 -0.231223 -0.333266
One 0.403720 -0.231223 1.000000 0.330959
Two Three 0.078800 -0.333266 0.330959 1.000000
2000-01-21 ABC 1.000000 -0.024610 0.206002 -0.059523
XYZ __ -0.024610 1.000000 -0.601174 -0.101306
One 0.206002 -0.601174 1.000000 0.149536
Two Three -0.059523 -0.101306 0.149536 1.000000
2000-02-10 ABC 1.000000 -0.361072 0.156693 -0.040827
XYZ __ -0.361072 1.000000 -0.077173 -0.232536
One 0.156693 -0.077173 1.000000 0.343754
Two Three -0.040827 -0.232536 0.343754 1.000000
2000-03-01 ABC 1.000000 0.204763 -0.013132 0.115202
XYZ __ 0.204763 1.000000 -0.339747 -0.206922
One -0.013132 -0.339747 1.000000 0.310002
Two Three 0.115202 -0.206922 0.310002 1.000000
2000-03-21 ABC 1.000000 0.062841 -0.245393 0.233697
XYZ __ 0.062841 1.000000 -0.213742 0.341582
One -0.245393 -0.213742 1.000000 0.251169
Two Three 0.233697 0.341582 0.251169 1.000000
Один из подходов (из многих) может заключаться в том, чтобы пометить ваши строки номером партии. Как вы делаете пакет, зависит от вас. Затем используйте groupby apply с определенной функцией для вычисления корреляций.
n = 100
df = pd.DataFrame(np.random.rand(n,2), columns=['A','B'])
df['date'] = pd.date_range('2000-01-01', periods=n, name='date')
df['batch'] = np.arange(n) // 20
def process_batch(dg):
return pd.DataFrame([[
dg['date'].min(),
dg['date'].max(),
dg[['A','B']].corr().values[0][1]
]], columns=['date_min', 'date_max', 'corr'])
df.groupby('batch').apply(process_batch).reset_index(1, drop=True)
Результаты:
date_min date_max corr
batch
0 2000-01-01 2000-01-20 -0.403241
1 2000-01-21 2000-02-09 -0.091487
2 2000-02-10 2000-02-29 0.091835
3 2000-03-01 2000-03-20 0.029466
4 2000-03-21 2000-04-09 0.100756