Как распараллелить этот смущающий параллельный цикл с Python
У меня смущающе параллельный цикл:
# Definitions
def exhaustiveExplorationsWithSimilarityAll(inputFolder, outputFolder, similarityMeasure):
phasesSpeedupDictFolder=parsePhasesSpeedupDictFolder(inputFolder)
avgSpeedupProgramDict=computeAvgSpeedupProgram(phasesSpeedupDictFolder)
parameters={
PROGRAMSPHASESSPEEDUPDICTS:phasesSpeedupDictFolder,
PROGRAMSAVGSPEEDUPDICT:avgSpeedupProgramDict
}
similarityHandler= SimilarityHandler(similarityMeasure,parameters)
# Sequential running
for fileName in os.listdir(inputFolder):
print fileName
exhaustiveExplorationsWithSimilarity(inputFolder + fileName, outputFolder + fileName, similarityHandler)
и я хотел бы сделать это параллельно, используя Joblib
Параллельно:
# Parallel version
num_cores = multiprocessing.cpu_count()
parallel= Parallel(n_jobs=num_cores)
for fileName in os.listdir(inputFolder):
print fileName
parallel(delayed(exhaustiveExplorationsWithSimilarity(inputFolder + fileName, outputFolder + fileName, similarityHandler)))
ИЛИ другая версия:
arg_generator = ((inputFolder + fileName, outputFolder + fileName, similarityHandler) for fileName in os.listdir(inputFolder))
parallel(delayed(exhaustiveExplorationsWithSimilarity)(arg_generator))
Но после запуска жалобы с:
parallel(delayed(exhaustiveExplorationsWithSimilarity(inputFolder + fileName, outputFolder + fileName, similarityHandler)))
File "/usr/lib/pymodules/python2.7/joblib/parallel.py", line 516, in __call__
for function, args, kwargs in iterable:
TypeError: 'function' object is not iterable
Что мне здесь не хватает? Любая помощь приветствуется.
1 ответ
Решение
Вы все еще звоните exhaustiveExplorationsWithSimilarity
(последовательно) внутри вашего цикла, но затем вы передаете результат delayed
Из документов https://pythonhosted.org/joblib/parallel.html выглядит, что вам нужно сделать что-то вроде:
parallel = Parallel(n_jobs=num_cores)
parallel(delayed(exhaustiveExplorationsWithSimilarity)(inputFolder + fileName, outputFolder + fileName, similarityHandler) for fileName in os.listdir(inputFolder))