GridsearchCV для набора данных 100000, имеющего 200 функций, дает сбой при использовании dask joblib
Я работаю над машинным обучением, Gridsearchcv, на кластере из двух систем, использующих DASK-ML. когда я работаю на 100000 примеров с 200 функциями, он зависает или не работает со следующим сообщением:
tornado.application - ERROR - Exception in callback
Это связано с размером набора данных или с какой-либо проблемой безопасности?
'search' is a GridsearchCV model using SGDClassifier()
'X_train' is 100000 by 200
'y_train' is 100000 by 1
....
with joblib.parallel_backend('dask'):
search.fit(X_train,y_train)
....