Как создать dask-массив из массива CuPy?

Question

Я пытаюсь запустить dask.cluster.Kmeans с огромным количеством данных. Работа с процессором в порядке, так как я завернуть numpy массивы с dask.array, Работа с GPU не представляется возможной из-за не реализованных функций в cupy,

Я попытался воспроизвести пример Мэтью Роклина ( https://blog.dask.org/2019/01/03/dask-array-gpus-first-steps) о генерации массива случайных dask из генератора случайных чисел CuPy - и это работает, но это не тот случай, который я хочу использовать.

Оберточная бумага cupy с участием dask.array - не работает.

>>> import dask.array as da
>>> import cupy as cp
>>> da.from_array(cp.arange(100000)).sum().compute()

Я ожидаю сумму этого массива, но получаю следующую ошибку:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/base.py", line 175, in compute
    (result,) = compute(self, traverse=False, **kwargs)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/base.py", line 446, in compute
    results = schedule(dsk, keys, **kwargs)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/threaded.py", line 82, in get
    **kwargs
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/local.py", line 491, in get_async
    raise_exception(exc, tb)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/compatibility.py", line 130, in reraise
    raise exc
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/local.py", line 233, in execute_task
    result = _execute_task(task, data)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/core.py", line 119, in _execute_task
    return func(*args2)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/dask/array/core.py", line 100, in getter
    c = np.asarray(c)
  File "/home/ubuntu/miniconda3/envs/cupy/lib/python3.6/site-packages/numpy/core/numeric.py", line 538, in asarray
    return array(a, dtype, copy=False, order=order)
ValueError: object __array__ method not producing an array

Так как же мне управлять работой с CuPy через массив dask?

Answer 1

При создании массива Dask из массива CuPy необходимо указать da.from_array ключевой аргумент asarray=False, Таким образом, ваш код будет выглядеть следующим образом.

>>> import dask.array as da
>>> import cupy as cp
>>> da.from_array(cp.arange(100000), asarray=False).sum().compute()