Все задачи назначаются одному работнику при использовании Dask в адаптивном режиме.

Question

При использовании Dask все нормально работает. Однако, когда я использую Dask с адаптивным кластером, я обнаруживаю, что иногда все задачи назначаются одному работнику. Почему это?

Answer 1

Это следует рассматривать как ошибку юзабилити, и было бы разумно заявить об этом.

Тем не менее, чтобы объяснить, что происходит (по крайней мере, сегодня 2018-08-09), вероятно, что

1. Сначала у вашего планировщика нет задач, поэтому ему не назначены рабочие
2. Вы отправляете много работы от клиента, планировщик отвечает и просит многих работников
3. Первый рабочий прибывает, и планировщик передает всю работу
4. Миллисекунды спустя, несколько других рабочих прибывают. Затем планировщик переходит к балансировке нагрузки между доступными работниками.

В идеале эвристика балансировки нагрузки должна справляться с ситуацией. Существовали более старые версии Dask, где это работало хуже, но обычно это нормально. Я рекомендую сначала обновить вашу версию dask а также distributed пакеты к самым новым возможным версиям, и если это не сработает, сообщите о проблеме с минимальным примером, если это возможно.