Проблема с использованием python Dask с веб-интерфейсом eel
Я создаю веб-приложение с использованием угря, поэтому я могу использовать python в бэкэнде. Часть того, что я делаю, требует использования fuzzywuzzy, и я использую Dask с ним, чтобы ускорить процесс.
Проблема, с которой я столкнулся, заключается в выполнении части Dask! Кажется, что для каждого запущенного мной процесса он запускает новый экран пользовательского интерфейса, по сути, выполняя eel.start для каждого экземпляра.
Честно говоря, у меня нет хорошего понимания параллельной обработки или внутренней работы угря, поэтому простите меня, если я потребую, чтобы вы объяснили это за меня, но есть ли способ обойти это и заставить Даск работать с угрем?
Я не буду выкладывать весь код, пока вас не спросят, но в основном при щелчке из веб-интерфейса выполняется следующий фрагмент кода eel.exposed:
dmaster = dd.from_pandas(df, npartitions=8)
dmaster['fuzzyscore'] = dmaster.apply(get_ratio, axis=1)
df2 = dmaster.compute(scheduler='processes')
Примечание:
1) Все другие функции и т. Д., Которые я запускал с помощью Eel до этой работы, и это делается точно так же.
2) При тестировании этого Dask-скрипта без использования eel в качестве интерфейса он также работает правильно.
Любая помощь приветствуется! При необходимости может предоставить дополнительную информацию.