Заменить раздел dask

Могу ли я заменить раздел dask dataframe другим разделом dask dataframe, который я создал отдельно, с таким же количеством строк и такой же структурой? Если да, то как?

Возможно ли это с другим количеством строк?

Источник

1 ответ

Решение

Вы можете добавить разделы в начало или конец кадра данных Dask, используя dd.concat функция.

Вы можете вставить новый раздел в любое место в кадре данных, переключившись на отложенные объекты, вставив отложенный объект в список, а затем переключившись обратно на dask dataframe.

list_of_delayed = dask_df.to_delayed()
new_partition = dask.delayed(pd.read_csv)(filename)
list_of_delayed[i] = new_partition
new_dask_df = dd.from_delayed(list_of_delayed, meta=dask_df._meta)

У него может быть различное количество строк, но он должен иметь одинаковые столбцы и dtypes.

Источник
Другие вопросы по тегам