Как сложить / вычесть массив различных месячных таймделт в Пандах?

Question

Я хочу вычесть некоторое количество месяцев из столбца даты и времени. Каждая строка имеет разное количество месяцев для вычитания. Например,

df = pd.DataFrame({
    'timestamp': pd.date_range('2017-10-01', '2018-10-01', freq='m'),
    'delta_in_months': [1, 4, 2, 5, 1, 3, 1, 5, 2, 4, 1, 3]
})

Результат должен выглядеть так (округление дня не имеет значения, это может быть 01 или 28/29/30/31, его легче было ввести в 01),

    timestamp   delta_in_months  new_timestamp
0   2017-10-31  1                2017-09-01
1   2017-11-30  4                2017-07-01
2   2017-12-31  2                2017-10-01
3   2018-01-31  5                2017-08-01
4   2018-02-28  1                2018-01-01
5   2018-03-31  3                2017-12-01
6   2018-04-30  1                2018-03-01
7   2018-05-31  5                2017-12-01
8   2018-06-30  2                2018-04-01
9   2018-07-31  4                2018-03-01
10  2018-08-31  1                2018-07-01
11  2018-09-30  3                2018-06-01

Имейте в виду, что это будет для гораздо большего кадра данных.

---

Я пытался,

months_delta = df.delta_in_months.apply(pd.tseries.offsets.MonthOffset)
df['new_timestamp'] = df.timestamp - months_delta

но это дало очень неожиданные результаты, причем каждая запись строки была DatetimeIndex.

Answer 1

Ты можешь попробовать

df['new_timestamp'] = df.timestamp - pd.to_timedelta(df.delta_in_months,unit='M')
df['new_timestamp'] = df['new_timestamp'].dt.date

Важно помнить, что 1 'M' = 30 'D'.

Answer 2

Если вы попали сюда, потому что искали векторизованное, быстрое и правильное решение проблемы добавления переменного количества месяцев к Seriesиз Timestamps, тогда читайте дальше.

В некоторых задачах мы действительно хотим добавить фактические месяцы (способ pd.offsets.DateOffset(months=x)работает), то есть: 2021-01-31 + 1 month --> 2021-02-28, а не просто "30 дней". Но попытка использовать напрямую вызывает предупреждение ( PerformanceWarning: Adding/subtracting object-dtype array to DatetimeArray not vectorized ). Например:

• dates + df['months'].apply(lambda m: pd.offsets.DateOffset(months=m))
• dates + months * pd.offsets.DateOffset(months=1), что также неверно в некоторых случаях (например, 2015-07-29 + 59 monthsдолжно быть 2020-06-29, нет 2020-06-28).

Вместо этого мы можем сами немного посчитать и получить векторизованное решение:

      # note: not timezone-aware
def vadd_months(dates, months):
    ddt = dates.dt
    m = ddt.month - 1 + months
    mb = pd.to_datetime(pd.DataFrame({
        'year': ddt.year + m // 12,
        'month': (m % 12) + 1,
        'day': 1})) + (dates - dates.dt.normalize())
    me = mb + pd.offsets.MonthEnd()
    r = mb + (ddt.day - 1) * pd.Timedelta(days=1)
    r = np.minimum(r, me)
    return r

Использование для примера OP

      df['new_timestamp'] = vadd_months(df['timestamp'], df['delta_in_months'])

Скорость

      n = int(100_000)
df = pd.DataFrame({
    'timestamp': pd.Series(pd.to_datetime(np.random.randint(
            pd.Timestamp('2000').value,
            pd.Timestamp('2020').value,
            n
        ))).dt.floor('1s'),
    'months': np.random.randint(0, 120, n),
})

%%time
newts = vadd_months(df['timestamp'], df['months'])
# CPU times: user 52.3 ms, sys: 4.01 ms, total: 56.3 ms

Проверка

Проверьте с (невекторизованным) прямым использованием pd.offsets.DateOffset:

      import warnings

%%time
with warnings.catch_warnings():
    warnings.simplefilter(action='ignore', category=pd.errors.PerformanceWarning)
    check = df['timestamp'] + df['months'].apply(lambda m: pd.offsets.DateOffset(months=m))
# CPU times: user 2.41 s, sys: 43.9 ms, total: 2.45 s

>>> newts.equals(check)
True

Обратите внимание, что vadd_monthsв 40 раз быстрее, чем невекторизованная версия, и нет предупреждений, которые нужно отлавливать.