Python, как объединить временные промежутки и сделать их больше

Question

У меня есть следующий кадр данных.

             padel start_time  end_time  duration
38  Padel 10   08:00:00  09:00:00        60
40  Padel 10   10:00:00  11:30:00        90
42  Padel 10   10:30:00  12:00:00        90
44  Padel 10   11:00:00  12:30:00        90
46  Padel 10   11:30:00  13:00:00        90
49  Padel 10   16:00:00  17:30:00        90
51  Padel 10   16:30:00  18:00:00        90
53  Padel 10   17:00:00  18:30:00        90
55  Padel 10   17:30:00  19:00:00        90
57  Padel 10   18:00:00  19:30:00        90
59  Padel 10   18:30:00  20:00:00        90
61  Padel 10   19:00:00  20:30:00        90
63  Padel 10   19:30:00  21:00:00        90
65  Padel 10   20:00:00  21:30:00        90
67  Padel 10   20:30:00  22:00:00        90

Я хочу выбрать самые длинные промежутки времени между ними. Результат, который я хочу, должен выглядеть так

             padel start_time  end_time  duration
38  Padel 10   08:00:00  09:00:00        60
40  Padel 10   10:00:00  13:00:00        180
49  Padel 10   16:00:00  22:00:00        360

Меня не волнует продолжительность. Я могу это сделать. но как мне объединить временные промежутки, которые перекрываются. Спасибо

Answer 1

1. Вы можете использовать для создания групп, если start_timeявляется greater than end_timeстроки выше (т.е. перекрываются).
2. Мы fillnaс '24:00:00'так что мы возвращаем «Истина» для первого значения, поскольку ничто не может быть больше 24 часов в сутки. Это потому что NaNэто вывод в первой строке с shift()который вернется, если мы этого не сделаем.
3. Это возвращает booleanсерия Trueа также False(т.е. 1а также 0,. соответственно), так что вы просто берете совокупную сумму с cumsum.
4. Это создает grpобъект, который мы можем включить в groupby.

---

      df = df.sort_values(by=['padel', 'start_time'], ascending=[True, True])
grp = df['start_time'].gt(df['end_time'].shift().fillna('24:00:00')).cumsum() 
df = df.groupby([grp, 'padel'], as_index=False).agg({'start_time':'first', 'end_time':'last'})
df['duration'] = ((pd.to_timedelta(df['end_time']) - 
                   pd.to_timedelta(df['start_time'])).dt.seconds / 60).astype(int)
Out[1]: 
      padel start_time  end_time  duration
0  Padel 10   08:00:00  09:00:00        60
1  Padel 10   10:00:00  13:00:00       180
2  Padel 10   16:00:00  22:00:00       360

---

Полный код с входным фреймом данных

      df = pd.DataFrame(pd.DataFrame({'padel': {38: 'Padel 10',
  40: 'Padel 10',
  42: 'Padel 10',
  44: 'Padel 10',
  46: 'Padel 10',
  49: 'Padel 10',
  51: 'Padel 10',
  53: 'Padel 10',
  55: 'Padel 10',
  57: 'Padel 10',
  59: 'Padel 10',
  61: 'Padel 10',
  63: 'Padel 10',
  65: 'Padel 10',
  67: 'Padel 10'},
 'start_time': {38: '08:00:00',
  40: '10:00:00',
  42: '10:30:00',
  44: '11:00:00',
  46: '11:30:00',
  49: '16:00:00',
  51: '16:30:00',
  53: '17:00:00',
  55: '17:30:00',
  57: '18:00:00',
  59: '18:30:00',
  61: '19:00:00',
  63: '19:30:00',
  65: '20:00:00',
  67: '20:30:00'},
 'end_time': {38: '09:00:00',
  40: '11:30:00',
  42: '12:00:00',
  44: '12:30:00',
  46: '13:00:00',
  49: '17:30:00',
  51: '18:00:00',
  53: '18:30:00',
  55: '19:00:00',
  57: '19:30:00',
  59: '20:00:00',
  61: '20:30:00',
  63: '21:00:00',
  65: '21:30:00',
  67: '22:00:00'},
 'duration': {38: 60,
  40: 90,
  42: 90,
  44: 90,
  46: 90,
  49: 90,
  51: 90,
  53: 90,
  55: 90,
  57: 90,
  59: 90,
  61: 90,
  63: 90,
  65: 90,
  67: 90}}))
grp = df['start_time'].gt(df['end_time'].shift().fillna('24:00:00')).cumsum() 
df = df.groupby([grp, 'padel'], as_index=False).agg({'start_time':'first', 'end_time':'last'})
df['duration'] = ((pd.to_timedelta(df['end_time']) - \
                   pd.to_timedelta(df['start_time'])).dt.seconds / 60).astype(int)
df

Answer 2

      #Coeece the start and end times to datetime
df['start_time']=pd.to_datetime(df['start_time'])
df['end_time']=pd.to_datetime(df['end_time'])

g=df.groupby(df.end_time.sub(df.start_time.shift(1)).ne('2h').cumsum()).tail(1).reset_index()#Find last entry in each set of pedal

g=g.assign(start_time=df.groupby(df.end_time.sub(df.start_time.shift(1)).ne('2h').cumsum()).start_time.head(1).reset_index().loc[:,'start_time'])#Set start_time to the start_time in each set of pedal


g=g.iloc[:,:-1].join(df.groupby(df.end_time.sub(df.start_time.shift(1)).ne('2h').cumsum()).apply(lambda x: (x['end_time'].max()-(x['start_time'].min())).total_seconds()/60).to_frame('duration').reset_index(drop=True))#Calc the duration



    padel start_time  end_time  duration
0  Padel 10   08:00:00  09:00:00        60
1  Padel 10   10:00:00  13:00:00       180
2  Padel 10   16:00:00  22:00:00       360

Answer 3

Я не могу придумать простой способ сделать это с пандами, поэтому я бы просто использовал цикл for. Не тестировал этот код, но что-то вроде:

      df = df.sort_values(...)
out_df = pd.DataFrame(columns=df.columns)
next_row = None

for row in df.rows:
    if next_row is None:
        next_row = row
    elif row['start_time'] <= next_row['end_time']:
        next_row['end_time'] = row['end_time']
    else:
        out_df = out_df.append(next_row)
        next_row = None

out_df = out_df.append(next_row)