Запуск функции на фрагменте массива dask

Question

Я пытался выяснить, как выполнять функции на кусках массива dask. Например, если я создаю следующий массив dask:

import numpy as np
import dask.array as da
x = da.random.normal(10, 0.1, size=(200, 4),chunks=(100, 100)) 

и определите функцию:

#test function
def test(x,y,z=4):
    return x*y+z, z*y

проведение

a,b = test(x[:,0],x[:,1])
a.compute()
b.compute()

работает как положено, но если я попытаюсь присвоить эти результаты обратно x, функция завершится ошибкой:

x[:,0],x[:,1] = test(x[:,0],x[:,1])

бросание NotImplementedError: присваивание элемента с не поддерживается Есть ли способ обойти это, чтобы сделать эту операцию? Благодарю вас,

Answer 1

Для Dask мутация не является нормальным рабочим процессом: вы захотите создать функции, которые будут вводить и возвращать новые значения, например,

def test(x,y,z=4):
    return x*y+z, z*y

a, b = test(x[:, 0], x[:, 1])
out = da.hstack([a.reshape(200, 1), b.reshape(200, 1), 
                 x[:, 2].reshape(200, 1), x[:, 3].reshape(200, 1)])

(или же

out = da.vstack([a, b, x[:, 2], x[:, 3]]).T

)