Pandas - большой фрагмент данных в виде фрагментов

Question

У меня есть большой фрейм данных (>3MM строк), который я пытаюсь пройти через функцию (приведенная ниже в значительной степени упрощена), и я продолжаю получать Memory Error сообщение.

Я думаю, что я передаю слишком большой массив данных в функцию, поэтому я пытаюсь:

1) Нарезать кадр данных на более мелкие куски (желательно нарезать AcctName )

2) Передайте фрейм данных в функцию

3) Объединить кадры данных обратно в один большой кадр данных

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

Я знаю, что моя функция работает правильно, так как она будет работать на меньшем кадре данных (например, 40000 строк). Я попытался сделать следующее, но мне не удалось объединить маленькие кадры данных обратно в один большой.

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

Как я представляю себе разделенные кадры данных:

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

Answer 1

Вы можете использовать понимание списка, чтобы разбить ваш фрейм данных на меньшие фреймы данных, содержащиеся в списке.

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

Вы можете получить доступ к чанкам с помощью:

list_df[0]
list_df[1]
etc...

Затем вы можете собрать его обратно в один фрейм данных, используя pd.concat.

По AcctName

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)

Answer 2

Я бы предложил использовать зависимость more_itertools. Он обрабатывает все крайние случаи, такие как неравномерное разделение фрейма данных, и возвращает итератор, который немного повысит эффективность.

(обновлено с использованием кода из @Acumenus)

      from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

Answer 3

Мне нравится ответ @ScottBoston, хотя я до сих пор не запомнил заклинание. Вот более подробная функция, которая делает то же самое:

      def chunkify(df: pd.DataFrame, chunk_size: int):
    start = 0
    length = df.shape[0]

    # If DF is smaller than the chunk, return the DF
    if length <= chunk_size:
        yield df[:]
        return

    # Yield individual chunks
    while start + chunk_size <= length:
        yield df[start:chunk_size + start]
        start = start + chunk_size

    # Yield the remainder chunk, if needed
    if start < length:
        yield df[start:]

Чтобы перестроить фрейм данных, соберите каждый фрагмент в список, затем pd.concat(chunks, axis=1)

Answer 4

Спасибо за решения.

Я попробовал два предложенных метода:

метод 1:

      measure = time.time()
n = 10**6
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]
list_df[0]
print(time.time()-measure) # 0.00800180435180664 seconds

Это быстрее.

Метод 2:

      import math

measure = time.time()
n = 10**6
list_df = np.array_split(df, math.ceil(len(df)/n))
list_df[0]
print(time.time()-measure) # 56.50256133079529 seconds

Это медленнее.