Заставить панд работать с маятником

Question

Я недавно наткнулся на нового офигенного pendulum библиотека для облегчения работы с datetime.

В pandas есть такая удобная to_datetime() метод, позволяющий конвертировать серии и другие объекты в datetime:

raw_data['Mycol'] = pd.to_datetime(raw_data['Mycol'], format='%d%b%Y:%H:%M:%S.%f')

Каким был бы канонический способ создания кастома to_<something> метод - в этом случае to_pendulum() метод, который сможет конвертировать серии строк даты непосредственно в Pendulum объекты?

Это может привести к Series Обладая различными интересными возможностями, такими как, например, преобразование ряда строк даты в серию "смещений с настоящего момента " - человеческие различия времени и даты.

Answer 1

Каким был бы канонический способ создания кастома to_<something> метод - в этом случае to_pendulum() метод, который сможет конвертировать серии строк даты непосредственно в Pendulum объекты?

Посмотрев немного API, я должен сказать, что впечатлен тем, что они сделали. К сожалению я не думаю Pendulum а также pandas может работать вместе (по крайней мере, с текущей последней версией - v0.21).

Наиболее важной причиной является то, что pandas не поддерживает изначально Pendulum как тип данных. Все изначально поддерживаемые типы данных (np.int, np.float а также np.datetime64) все поддерживают векторизацию в той или иной форме. Вы не получите ни малейшего улучшения производительности, используя кадры данных, скажем, ванильный цикл и список. Если что, звоню apply на Series с Pendulum объекты будут работать медленнее (из-за всех накладных расходов API).

Другая причина в том, что Pendulum это подкласс datetime -

from datetime import datetime

isinstance(pendulum.now(), datetime)
True

Это важно, потому что, как упоминалось выше, datetime это поддерживаемый тип данных, поэтому панды будут пытаться принуждать datetime в родной формат даты и времени панд - Timestamp, Вот пример.

print(s)

0     2017-11-09 18:43:45
1     2017-11-09 20:15:27
2     2017-11-09 22:29:00
3     2017-11-09 23:42:34
4     2017-11-10 00:09:40
5     2017-11-10 00:23:14
6     2017-11-10 03:32:17
7     2017-11-10 10:59:24
8     2017-11-10 11:12:59
9     2017-11-10 13:49:09

s = s.apply(pendulum.parse)
s

0    2017-11-09 18:43:45+00:00
1    2017-11-09 20:15:27+00:00
2    2017-11-09 22:29:00+00:00
3    2017-11-09 23:42:34+00:00
4    2017-11-10 00:09:40+00:00
5    2017-11-10 00:23:14+00:00
6    2017-11-10 03:32:17+00:00
7    2017-11-10 10:59:24+00:00
8    2017-11-10 11:12:59+00:00
9    2017-11-10 13:49:09+00:00
Name: timestamp, dtype: datetime64[ns, <TimezoneInfo [UTC, GMT, +00:00:00, STD]>]

s[0]
Timestamp('2017-11-09 18:43:45+0000', tz='<TimezoneInfo [UTC, GMT, +00:00:00, STD]>')

type(s[0])
pandas._libs.tslib.Timestamp

Итак, с некоторыми трудностями (включая dtype=object), вы можете загрузить Pendulum объекты в кадры данных. Вот как ты это сделаешь -

v = np.vectorize(pendulum.parse)
s = pd.Series(v(s), dtype=object)

s

0     2017-11-09T18:43:45+00:00
1     2017-11-09T20:15:27+00:00
2     2017-11-09T22:29:00+00:00
3     2017-11-09T23:42:34+00:00
4     2017-11-10T00:09:40+00:00
5     2017-11-10T00:23:14+00:00
6     2017-11-10T03:32:17+00:00
7     2017-11-10T10:59:24+00:00
8     2017-11-10T11:12:59+00:00
9     2017-11-10T13:49:09+00:00

s[0]
<Pendulum [2017-11-09T18:43:45+00:00]>

Тем не менее, это по сути бесполезно, потому что вызов любого pendulum метод (через apply) теперь будет не только супер медленным, но и в результате будет приведен к Timestamp опять бесполезное упражнение.