Описание тега dask-delayed
Dask.Delayed относится к интерфейсу python, который состоит из отложенной функции, которая обертывает функцию или объект для создания отложенных прокси. Используйте этот тег для вопросов, связанных с интерфейсом python.
1
ответ
Запуск функции на фрагменте массива dask
Я пытался выяснить, как выполнять функции на кусках массива dask. Например, если я создаю следующий массив dask: import numpy as np import dask.array as da x = da.random.normal(10, 0.1, size=(200, 4),chunks=(100, 100)) и определите функцию: #test fu…
05 сен '18 в 17:49
1
ответ
Dask Задержка кэширования
Каково текущее состояние дел в отношении интеграции кэширования в графы с задержкой времени? У меня есть большие графики, в которых есть пути, которые значительно выиграют от постоянного кэширования (т. Е. Диска и хэширования по параметрам) для кажд…
31 янв '19 в 18:38
1
ответ
Как справиться с работником, если у меня много много долгосрочных задач!
Предположим, у меня есть кластер dask с 4 узлами, в котором на узле-1 работает dask-scheduler, а на остальных узлах работает dask-worker. И я вместе представляю 5 долгосрочных задач. Итак, что происходит в этом случае, 3 задачи находятся в рабочем р…
25 янв '18 в 15:56
1
ответ
Dask Delayed игнорирует имя для зависимых переменных
При создании графика расчетов с использованием delayed Я пытаюсь присвоить имена, чтобы, если я визуализирую график, он был читабельным. Однако для задержанных переменных, которые зависят от функций, name Параметр не влияет на ключ. Вот игрушечный п…
29 авг '17 в 13:16
1
ответ
distrib.protocol.pickle - INFO - Не удалось сериализовать. Исключение: выбор объекта AuthenticationString запрещен по соображениям безопасности.
Код питона:: from dask.distributed import variable, Client from multiprocessing import Process, current_process def my_task(proc): print("process object::", proc) def doubler(number): # do stuff returns something proc = Process(target=doubler, args=…
09 янв '18 в 06:48
1
ответ
Функция запуска на кластере с DASK
Я новичок в DASK и хотел бы проверить работу DASK в кластере. Кластер имеет головной сервер и несколько других узлов. Я могу войти в другие узлы простым ssh без пароля, как только я войду в главный сервер. Я хотел бы запустить простую функцию для пе…
03 сен '18 в 20:41
1
ответ
Как указать количество разделов, читающих паркет в кадре данных Dask?
Я прочитал мои данные о паркете следующим образом: file_names = glob.glob('./events/*/*/*/*/*/part*.parquet') pf = fp.ParquetFile(file_names, root='./events') pf.cats = {'customer': pf.cats['customer']} dfs = (delayed(pf.read_row_group_file)(rg, pf.…
25 мар '18 в 01:41
0
ответов
Задержка отложена + Matplotlib.savefig() -> FAIL
Моя цель состоит в том, чтобы создать несколько файлов PNG из нескольких массивов, загруженных из медицинских изображений в моем HD. Чтобы сделать вещи быстрее, я использую dask с задержкой. Вот мой рабочий код: import os.path from glob import glob …
24 май '17 в 11:09
1
ответ
Тренировка модели Keras с Dask Array идет очень медленно
Я хочу использовать Dask читать большой набор данных и кормить его Keras модель. Данные состоят из аудиофайлов, и я использую пользовательскую функцию для их чтения. Я пытался подать заявку delayed к этой функции, и я собираю все файлы в массив dask…
07 май '17 в 19:54
1
ответ
Как я могу объединить последовательное и параллельное выполнение отложенных вызовов функций?
Я застрял в странном месте. У меня есть куча отложенных вызовов функций, которые я хочу выполнить в определенном порядке. В то время как выполнение параллельно тривиально: res = client.compute([myfuncs]) res = client.gather(res) Я не могу найти спос…
07 фев '19 в 13:22
1
ответ
Dask ленивая инициализация очень медленная для понимания списка
Я пытаюсь понять, будет ли Dask подходящим дополнением к моему проекту, и написал несколько очень простых тестовых примеров, чтобы оценить его производительность. Тем не менее, Dask занимает относительно много времени, чтобы просто выполнить отложен…
04 дек '18 в 22:21
0
ответов
Реализация рекурсивной функции с использованием dask.delayed
Как я могу успешно реализовать сортировку слиянием с помощью dask.delayed или с помощью другого API dask. Так что с параллелизмом это становится быстрее.
30 июн '18 в 07:59
1
ответ
Еще один интерфейс для Dask, кроме боке
Нет ли другого Dask UI кроме боке? У меня проблема с боке, так как он не показывает график и пользовательский интерфейс при работе в экземпляре ec2.
27 июн '18 в 07:25
2
ответа
Путаница в отношении кластерного планировщика и распределенного планировщика для одной машины
В приведенном ниже коде, почему dd.read_csv работает на кластере? client.read_csv должен работать на кластере. import dask.dataframe as dd from dask.distributed import Client client=Client('10.31.32.34:8786') dd.read_csv('file.csv',blocksize=10e7) d…
28 июн '18 в 11:30
1
ответ
Ошибка: при передаче объекта Clie nt в конструктор пользовательского класса в dask имя модуля "Custom Class" отсутствует.
Я пытался написать пользовательские классы для Preprocessing с последующим Feature selection а также Machine Learning алгоритмы также. Я взломал это (preprocessing only) с помощью @delayed, Но когда я читаю из учебников, то же самое может быть дости…
10 авг '18 в 15:28
0
ответов
distrib.utils - ОШИБКА - Существующий экспорт данных: объект не может быть изменен
Я запускаю dask-планировщик на одном узле, а мой dask-работник работает на другом узле... И я отправляю задачу dask-планировщику с третьего узла. иногда выдает распределенный ОШИБКА - Существующий экспорт данных: объект не может быть изменен Я испол…
17 янв '18 в 09:44
1
ответ
Объединение наборов данных с использованием dask оказывается неудачным
Я пытаюсь объединить несколько больших наборов данных, используя Dask в Python, чтобы избежать проблем с загрузкой. Я хочу сохранить как .csv объединенный файл. Задача оказывается сложнее, чем предполагалось: Я собрал игрушечный пример с двумя набор…
14 ноя '18 в 16:57
1
ответ
Заменить раздел dask
Могу ли я заменить раздел dask dataframe другим разделом dask dataframe, который я создал отдельно, с таким же количеством строк и такой же структурой? Если да, то как? Возможно ли это с другим количеством строк?
29 июн '18 в 11:21
1
ответ
Разработка расчетного графа в сумерках
До сих пор я использовал напиток с get и словарь для определения графика зависимостей моих задач. Но это означает, что я должен определить весь свой график с самого начала, и теперь я хочу время от времени добавлять новые задачи (с зависимостями от …
15 июн '18 в 15:57
1
ответ
Custom Dask перемещаемый объект
Я использовал пользовательский словарь, подобный объекту, чтобы легко хранить результаты Dask-графа, но использование получающегося объекта для вычисления Dask-графа не вычисляет его дочерние элементы. Можно ли изменить пользовательский объект таким…
07 окт '18 в 11:08