Dask: уникальный метод в группе Dataframe

Question

Я хотел бы знать, возможно ли иметь количество уникальных элементов из данного столбца после объединения groupBy с Dask. Я не вижу ничего подобного в документации. Он доступен на датафрейме pandas и действительно полезен. Я видел некоторые проблемы, связанные с этим, но я не уверен, что это реализовано.

Может кто-нибудь дать мне несколько советов по этому поводу?

Answer 1

Чтобы расширить этот комментарий, вы можете использоватьnunique непосредственно на SeriesGroupBy:

import pandas as pd
import dask.dataframe as dd

d = {'col1': [1, 2, 3, 4], 'col2': [5, 6, 7, 8]}
df = pd.DataFrame(data=d)
ddf = dd.from_pandas(df, npartitions=2)
ddf.groupby(['col1']).col2.nunique().to_frame().compute()

См. https://github.com/dask/dask/issues/6280 для более подробного обсуждения.

Answer 2

Для реализации nunique в dask groupby вы должны использовать агрегатную функцию.

import pandas as pd
import dask.dataframe as dd

def chunk(s):
    '''
    The function applied to the
    individual partition (map)
    '''    
    return s.apply(lambda x: list(set(x)))


def agg(s):
    '''
    The function whic will aggrgate 
    the result from all the partitions(reduce)
    '''
    s = s._selected_obj    
    return s.groupby(level=list(range(s.index.nlevels))).sum()


def finalize(s):
    '''
    The optional functional that will be 
    applied to the result of the agg_tu functions
    '''
    return s.apply(lambda x: len(set(x)))


tunique = dd.Aggregation('tunique', chunk, agg,finalize)

df = pd.DataFrame({
'col': [0, 0, 1, 1, 2, 3, 3] * 10,
'g0': ['a', 'a', 'b', 'a', 'b', 'b', 'a'] * 10,
 })

 ddf = dd.from_pandas(df, npartitions=10)

 res = ddf.groupby(['col']).agg({'g0': tunique}).compute()
 print(res)

Answer 3

Увидеть:

Построение режима и соответствующих функций подсчета с использованием пользовательских функций агрегирования для GroupBy в Dask

Исходя из исходного кода, похоже, что вы можете сделать nunique вне agg.