Как получить среднее значение за определенный промежуток времени

Question

Я начал учиться две недели назад, и теперь я застрял. У меня есть 2 TimeSeries, которые выглядят так:

2011-01-09 00:00:00+00:00    7.430126
2011-01-09 01:00:00+00:00    6.793855
2011-01-09 02:00:00+00:00    6.675949
2011-01-09 03:00:00+00:00    6.756636
2011-01-09 04:00:00+00:00    6.875174
2011-01-09 05:00:00+00:00    5.432611
2011-01-09 06:00:00+00:00    6.059197
2011-01-09 21:00:00+00:00    5.338928
2011-01-09 22:00:00+00:00    5.259672
2011-01-09 23:00:00+00:00    5.247196
2011-01-10 00:00:00+00:00    5.889274
2011-01-10 01:00:00+00:00    6.133871
2011-01-10 02:00:00+00:00    6.111958
2011-01-10 03:00:00+00:00    5.873732
2011-01-10 04:00:00+00:00    5.627684
2011-01-10 05:00:00+00:00    5.265644
2011-01-10 06:00:00+00:00    5.505559
2011-01-10 21:00:00+00:00    3.835050
2011-01-10 22:00:00+00:00    3.879653
2011-01-10 23:00:00+00:00    4.034543
2011-01-11 00:00:00+00:00    4.844272
2011-01-11 01:00:00+00:00    4.670967
2011-01-11 02:00:00+00:00    4.584164
2011-01-11 03:00:00+00:00    4.786821

Это данные измерения скорости ветра, и я хочу сравнить их с данными модели. Более конкретно, я хочу сравнить скорости ветра ночью (21.00 - 6.00). Итак, я определил функцию:

def func(model, measure):
    return (model-measure).mean()

Кроме того, я создал цикл над данными:

mean_night = []
start = 7
for a in night:
    mean_night.append(func(model, measure[start:(start+10)]))
    start = start+11
    if start>5378:
            break

Проблема в том, что я теряю свой временной индекс и некоторые данные отсутствуют (например, 1 день или 1 неделя), поэтому у меня возникают проблемы с переиндексацией его с помощью DateRange. В конце все должно выглядеть так:

date    difference_means
2011-01-09    diff_1
2011-01-09    diff_2

и так далее. Я использую панды 0.7.1. Спасибо за помощь! (и извините за мой плохой английский:P)

Answer 1

Панды 0.8.1 Для почасовых выборочных данных:

In [57]: import pandas

In [58]: import numpy

In [59]: index = pandas.date_range(start='2011-01-09', periods=240, freq='H')

In [60]: s = pandas.Series(np.random.randn(len(index)), index)

In [61]: s_night = s[(s.index.hour >= 21) | (s.index.hour <= 6)]

In [62]: def day_or_night(dates):
   ....:     r = []
   ....:     for date in dates:
   ....:         if (date.hour >= 21) | (date.hour <= 6):
   ....:             d = datetime.datetime(date.year, date.month, date.day)
   ....:             if (date.hour <= 6):
   ....:                 d = d - pandas.offsets.Day()
   ....:             r.append(d)
   ....:         else:
   ....:             r.append('day')
   ....:     return r
   ....:

In [63]: s_night.groupby(day_or_night(s_night.index)).mean()
Out[63]:
2011-01-08    0.652095
2011-01-09    0.004129
2011-01-10    0.457892
2011-01-11   -0.078547
2011-01-12    0.008087
2011-01-13    0.043568
2011-01-14    0.505970
2011-01-15    0.150971
2011-01-16    0.107265
2011-01-17    0.117811
2011-01-18   -0.191193

Answer 2

Вы должны обновить до 0.8.1 и воспользоваться всеми новыми функциями временных рядов. Пожалуйста, проверьте http://pandas.pydata.org/ для документации.

В новейших версиях функции оформления заказа, такие как between_time фильтровать в определенных временных диапазонах.

Answer 3

Я наконец нашел решение, которое работает:

hr = dr.map(lambda x: x.hour)
meantime = lambda x: x.replace(hour=0)

datra = pd.DateRange('2011/1/1', '2011/12/31', offset=pd.datetools.day)
rise = pd.TimeSeries(np.cos(((datra.map(lambda x: (x-datetime(x.year,1,1)).total_seconds() / 86400) + 10) / 183. * np.pi)) * -2. + 17., index=datra)
set = pd.TimeSeries(np.cos(((datra.map(lambda x: (x-datetime(x.year,1,1)).total_seconds() / 86400) + 10) / 183. * np.pi)) * 2.5 + 5., index=datra)

i=0
def bias_night(liste, group):
while (i<546):
    if (i<364):
        z = group[dr[hr>unter11[i]]].combine_first(group[dr[hr<auf11[i+1]]]).groupby(meantime).mean()
        liste.append(z[i])
    else:
        z = group[dr[hr>unter11[i-365]]].combine_first(group[dr[hr<auf11[i-365+1]]]).groupby(meantime).mean()
        liste.append(z[i])
    i = i+1
t = group[dr[hr>unter11[364]]].combine_first(group[dr[hr<auf11[0]]]).groupby(meantime).mean()
liste.insert(364, t[364])

liste - это пустой список, а group - один из моих TimeSeries. В конце я просто должен вычесть полученные списки, чтобы получить то, что я хочу.

2011-01-09   -1.179578
2011-01-10   -0.978171
2011-01-11   -0.335977
2011-01-12    0.080671
2011-01-13   -0.324661
2011-01-14    0.012359
2011-01-15   -0.549079