Pandas groupby накопленная сумма

Question

Pandas groupby накопленная сумма

Я хотел бы добавить столбец накопленной суммы в мой фрейм данных Pandas, чтобы:

name | day       | no
-----|-----------|----
Jack | Monday    | 10
Jack | Tuesday   | 20
Jack | Tuesday   | 10
Jack | Wednesday | 50
Jill | Monday    | 40
Jill | Wednesday | 110

будет выглядеть так:

Jack | Monday     | 10  | 10
Jack | Tuesday    | 30  | 40
Jack | Wednesday  | 50  | 90
Jill | Monday     | 40  | 40
Jill | Wednesday  | 110 | 150

Я пробовал различные комбинации df.groupby а также df.agg(lambda x: cumsum(x)) но безрезультатно. Заранее спасибо!

154

python pandas

Источник

user2974813 26 мар '14 в 03:17

8 ответов

Другие вопросы по тегам python pandas

user2487184 26 мар '14 в 03:56 2014-03-26 03:56 · Answer 1 · 2014-03-26 03:56

Это должно сделать это, нужно groupby() дважды.

In [52]:

print df
   name        day   no
0  Jack     Monday   10
1  Jack    Tuesday   20
2  Jack    Tuesday   10
3  Jack  Wednesday   50
4  Jill     Monday   40
5  Jill  Wednesday  110
In [53]:

print df.groupby(by=['name','day']).sum().groupby(level=[0]).cumsum()
                 no
name day           
Jack Monday      10
     Tuesday     40
     Wednesday   90
Jill Monday      40
     Wednesday  150

Обратите внимание, в результате DataFrame имеет MultiIndex,

user2258342 30 мар '18 в 16:49 2018-03-30 16:49 · Answer 2 · 2018-03-30 16:49

Модификация к @ ответу Дмитрия. Это проще и работает в пандах 0.19.0:

print(df) 

 name        day   no
0  Jack     Monday   10
1  Jack    Tuesday   20
2  Jack    Tuesday   10
3  Jack  Wednesday   50
4  Jill     Monday   40
5  Jill  Wednesday  110

df['no_csum'] = df.groupby(['name'])['no'].cumsum()

print(df)
   name        day   no  no_csum
0  Jack     Monday   10       10
1  Jack    Tuesday   20       30
2  Jack    Tuesday   10       40
3  Jack  Wednesday   50       90
4  Jill     Monday   40       40
5  Jill  Wednesday  110      150

user5192992 07 дек '15 в 10:03 2015-12-07 10:03 · Answer 3 · 2015-12-07 10:03

Это работает в пандах 0.16.2

In[23]: print df
        name          day   no
0      Jack       Monday    10
1      Jack      Tuesday    20
2      Jack      Tuesday    10
3      Jack    Wednesday    50
4      Jill       Monday    40
5      Jill    Wednesday   110
In[24]: df['no_cumulative'] = df.groupby(['name'])['no'].apply(lambda x: x.cumsum())
In[25]: print df
        name          day   no  no_cumulative
0      Jack       Monday    10             10
1      Jack      Tuesday    20             30
2      Jack      Tuesday    10             40
3      Jack    Wednesday    50             90
4      Jill       Monday    40             40
5      Jill    Wednesday   110            150

user3156200 26 апр '17 в 04:33 2017-04-26 04:33 · Answer 4 · 2017-04-26 04:33

Ты должен использовать

df['cum_no'] = df.no.cumsum()

http://pandas.pydata.org/pandas-docs/version/0.19.2/generated/pandas.DataFrame.cumsum.html

Еще один способ сделать это

import pandas as pd
df = pd.DataFrame({'C1' : ['a','a','a','b','b'],
           'C2' : [1,2,3,4,5]})
df['cumsum'] = df.groupby(by=['C1'])['C2'].transform(lambda x: x.cumsum())
df

13

Источник

user3156200 26 апр '17 в 04:33

user7240634 19 июл '17 в 10:40 2017-07-19 10:40 · Answer 5 · 2017-07-19 10:40

Вместо df.groupby(by=['name','day']).sum().groupby(level=[0]).cumsum()(см. выше) вы также можете сделать df.set_index(['name', 'day']).groupby(level=0, as_index=False).cumsum()

df.groupby(by=['name','day']).sum() на самом деле просто перемещает оба столбца в MultiIndex
as_index=False означает, что вам не нужно вызывать reset_index впоследствии

9

Источник

user7240634 19 июл '17 в 10:40

user2123997 04 ноя '20 в 13:56 2020-11-04 13:56 · Answer 6 · 2020-11-04 13:56

Data .csv:

name,day,no
Jack,Monday,10
Jack,Tuesday,20
Jack,Tuesday,10
Jack,Wednesday,50
Jill,Monday,40
Jill,Wednesday,110

Код:

import numpy as np
import pandas as pd

df = pd.read_csv('data.csv')
print(df)
df = df.groupby(['name', 'day'])['no'].sum().reset_index()
print(df)
df['cumsum'] = df.groupby(['name'])['no'].apply(lambda x: x.cumsum())
print(df)

Вывод:

   name        day   no
0  Jack     Monday   10
1  Jack    Tuesday   20
2  Jack    Tuesday   10
3  Jack  Wednesday   50
4  Jill     Monday   40
5  Jill  Wednesday  110
   name        day   no
0  Jack     Monday   10
1  Jack    Tuesday   30
2  Jack  Wednesday   50
3  Jill     Monday   40
4  Jill  Wednesday  110
   name        day   no  cumsum
0  Jack     Monday   10      10
1  Jack    Tuesday   30      40
2  Jack  Wednesday   50      90
3  Jill     Monday   40      40
4  Jill  Wednesday  110     150

user11641737 14 сен '22 в 19:48 2022-09-14 19:48 · Answer 7 · 2022-09-14 19:48

начиная с версии 1.0 панды получили новый API для оконных функций.

в частности, то, что было достигнуто ранее с

      df.groupby(['name'])['no'].apply(lambda x: x.cumsum())

или

      df.set_index(['name', 'day']).groupby(level=0, as_index=False).cumsum()

теперь становится

      df.groupby(['name'])['no'].expanding().sum()

Я считаю, что это более интуитивно понятно для всех функций, связанных с окном, чем групповые операции + уровень

хотя научиться использовать groupby полезно для общих целей.
см. документы:https://pandas.pydata.org/docs/user_guide/window.html

not a robot 15 сен '22 в 10:25 2022-09-15 10:25 · Answer 8 · 2022-09-15 10:25

Если вы хотите написать однострочный (возможно, вы хотите передать методы в конвейер), вы можете сделать это, сначала установивas_indexпараметрgroupbyдля метода False, чтобы вернуть кадр данных с шага агрегации и использоватьassign()присвоить ему новый столбец (нарастающая сумма для каждого человека).

Эти связанные методы возвращают новый фрейм данных, поэтому вам нужно будет присвоить его переменной (например,agg_df), чтобы иметь возможность использовать его позже.

      agg_df = (
    # aggregate df by name and day
    df.groupby(['name','day'], as_index=False)['no'].sum()
    .assign(
        # assign the cumulative sum of each name as a new column
        cumulative_sum=lambda x: x.groupby('name')['no'].cumsum()
    )
)