Получение ошибки при создании pex из библиотеки TF-YARN для распределенного обучения

Question

Мы пробуем использовать библиотеку TF-YARN для обучения DL на потоке, поскольку наши данные находятся в Hadoop. Но мы получаем ошибку в cluster_pack.upload_env()

Ниже приводится полная ошибка:

ОШИБКА:cluster_pack.packaging: невозможно создать pex Traceback (последний вызов последним): файл "/data1/python3.6.10/lib/python3.6/site-packages/cluster_pack/packaging.py", строка 144, в pack_in_pex indexes=[CRITEO_PYPI_URL] if _is_criteo() else None) Файл "/data1/python3.6.10/lib/python3.6/site-packages/pex/resolver.py", строка 803, в списке возврата resolve_multi(resolve_request.resolve_distributions(ignore_errors=ignore_errors)) Файл "/data1/python3.6.10/lib/python3.6/site-packages/pex/resolver.py", строка 500, в resolve_distributions raise_type=Unsatisfiable): File "/data1/python3.6.10/lib/python3.6/site-packages/pex/resolver.py", строка 370, в файле _run_parallel max_jobs=self._max_parallel_jobs"/data1/python3.6.10/lib/python3.6/site-packages/pex/jobs.py", строка 219, в execute_parallel возникает ошибка pex.resolver.Неудовлетворительно: pid: 6749 -> /data1/python3.6.10/bin/python3.6 /tmp/tmpirzknr9r --disable-pip-version-check --isolated --exists-action i -q --no-cache-dir скачать --dest /tmp/tmp1ezcnpuj/resolved_dists/cp36-cp36m absl-py==0.9.0 alembic==1.4.2 astor==0.8.1 astunparse==1.6.3 async-generator==1.10 attrs==19.3.0 обратный звонок ==0.1.0 bleach==3.1.5 cachetools==4.1.1 certifi==2020.4.5.1 certipy==0.1.3 cffi==1.14.0 chardet==3.0.4 cloudpickle==1.3.0 cluster-pack==0.0.9 conda-pack==0.4.0 криптография ==2.9.2 cx-Oracle==7.3.0 cycler==0.10.0 декоратор ==4.4.2 defusedxml==0.6.0 точки входа ==0.3 gast==0.3.3 google-auth==1.18.0 google-auth-oauthlib==0.4.1 google-pasta==0.2.0 graphframes==0.6 grpcio==1.30.0 h5py==2.10.0 icc-rt==2020.0.133 idna==2.9 importlib-metadata==1.6.0 intel-openmp==2020.0.133 ipykernel==5.3.0 ipython==7.14.0 ipython-genutils==0.2.0 ipywidgets==7.5.1 jedi==0.17.0 Jinja2==2.11.2 joblib==0.16.0 json5==0.9.4 jsonschema==3.2.0 jupyter-client==6.1.3 jupyter-core==4.6.3 jupyter-telemetry==0.1.0 jupyter-tensorboard==0.2.0 jupyterhub==1.1.0 jupyterlab==2.1.2 jupyterlab-server==1.1.4 Keras==2.4.3 Keras-Applications==1.0.8 Keras-Preprocessing==1.1.2 kiwisolver==1.2.0 Mako==1.1.2 Markdown==3.2.2 MarkupSafe==1.1.1 matplotlib==3.2.2 mistune==0.8.4 mkl==2019.0 mkl-random==1.0.1.1 nbconvert==5.6.1 nbformat==5.0.6 networkx==2.4 нос ==1.3.7 ноутбук ==6.0.3 numpy==1.18.5 oauthlib==3.1.0 opt-einsum==3.2.1 упаковка ==20.4 pamela==1.0.0 pandas==1.0.4 pandocfilters==1.4.2 parso==0.7.0 pex==2.1.1 pexpect==4.8.0 pickleshare==0.7.5 prometheus-client==0.7.1 prompt-toolkit==3.0.5 protobuf==3.12.2 ptyprocess==0.6.0 py4j==0.10.7 pyarrow==1.0.0 pyasn1==0.4.8 pyasn1-modules==0.2.8 pycparser==2.20 пигментов ==2.6.1 pyOpenSSL==19.1.0 pyparsing==2.4.7 pyrsistent==0.16.0 pyspark==2.4.6 python-dateutil==2.8.1 python-editor==1.0.4 python-json-logger==0.1.11 pytz==2020.1 PyYAML==5.3.1 pyzmq==19.0.1 запросы == 2.23.0 запросы-oauthlib==1.3.0 rsa==4.6 ruamel.yaml==0.16.10 ruamel.yaml.clib==0.2.0 scikit-learn==0.23.1 scipy==1.4.1 seaborn==0.10.1 Send2Trash==1.5.0 шесть ==1.15.0 моток ==0.8.0 sklearn==0.0 SQLAlchemy==1.3.17 tbb==2019.0 tbb4py==2019.0 tensorboard==2.2.2 tensorboard-plugin-wit==1.7.0 tensorflow==2.2.0 тензор потока-оценка ==2.2.0 tensorflowonspark==2.2.1 termcolor==1.1.0 terminado==0.8.3 testpath==0.4.4 tf-yarn==0.5.1 threadpoolctl==2.1.0 tornado==6.0.4 traitlets==4.3.3 urllib3==1.25.9 wcwidth==0.1.9 webencodings==0.5.1 Werkzeug==1.0.1 widgetsnbextension==3.5.1 wrapt==1.12.1 zipp==3.1.0 поднят Выполнение /data1/python3.6.10/bin/python3.6 / tmp /tmpirzknr9r --disable-pip-version-check --isolated --exists-action i -q --no-cache-dir загрузка --dest /tmp/tmp1ezcnpuj/resolved_dists/cp36-cp36m absl-py==0.9.0 alembic==1.4.2 astor==0.8.1 astunparse==1.6.3 async-generator==1.10 attrs==19.3.0 backcall==0.1.0 bleach==3.1.5 cachetools==4.1.1 certifi==2020.4.5.1 certipy==0.1.3 cffi==1.14.0 chardet==3.0.4 cloudpickle==1.3.0 cluster-pack==0.0.9 conda-pack==0.4.0 криптография ==2.9.2 cx-Oracle==7.3.0 cycler==0.10.0 decorator==4.4.2 defusedxml==0.6.0 entrypoints==0.3 gast==0.3.3 google-auth==1.18.0 google-auth-oauthlib==0.4.1 google-pasta==0.2.0 graphframes==0.6 grpcio==1.30.0 h5py==2.10.0 icc-rt==2020.0.133 idna==2.9 importlib-metadata==1.6.0 intel-openmp==2020.0.133 ipykernel==5.3.0 ipython==7.14.0 ipython-genutils==0.2.0 ipywidgets==7.5.1 jedi==0.17.0 Jinja2==2.11.2 joblib==0,16,0 json5 == 0,9.4 jsonschema == 3.2.0 jupyter-client == 6.1.3 jupyter-core == 4.6.3 jupyter-telemetry == 0.1.0 jupyter-tensorboard == 0.2.0 jupyterhub == 1.1.0 jupyterlab == 2.1. 2 jupyterlab-server == 1.1.4 Keras == 2.4.3 Keras-Applications == 1.0.8 Keras-Preprocessing == 1.1.2 kiwisolver == 1.2.0 Mako == 1.1.2 Markdown == 3.2.2 MarkupSafe == 1.1.1 matplotlib == 3.2.2 mistune == 0.8.4 mkl == 2019.0 mkl-random == 1.0.1.1 nbconvert == 5.6.1 nbformat == 5.0.6 networkx == 2.4 нос == 1.3. 7 блокнот == 6.0.3 numpy == 1.18.5 oauthlib == 3.1.0 opt-einsum == 3.2.1 упаковка ==20.4 pamela==1.0.0 pandas==1.0.4 pandocfilters==1.4.2 parso==0.7.0 pex==2.1.1 pexpect==4.8.0 pickleshare==0.7.5 prometheus-client==0.7.1 prompt-toolkit==3.0.5 protobuf==3.12.2 ptyprocess==0.6.0 py4j==0.10.7 pyarrow==1.0.0 pyasn1==0.4.8 pyasn1-modules==0.2.8 pycparser==2.20 Pygments==2.6.1 pyOpenSSL==19.1.0 pyparsing==2.4.7 pyrsistent==0.16.0 pyspark==2.4.6 python-dateutil==2.8.1 python-editor==1.0.4 python-json-logger==0.1.11 pytz==2020.1 PyYAML==5.3.1 pyzmq==19.0.1 запросы == 2.23.0 запросы -oauthlib==1.3.0 rsa==4.6 ruamel.yaml==0.16.10 ruamel.yaml.clib==0.2.0 scikit-learn==0.23.1 scipy==1.4.1 seaborn==0.10.1 Send2Trash==1.5.0 шесть ==1.15.0 скейн == 0.8.0 sklearn == 0.0 SQLAlchemy == 1.3.17 tbb == 2019.0 tbb4py == 2019.0 tensorboard == 2.2.2 tensorboard-plugin-wit == 1.7. 0 tenorflow == 2.2.0 тензор потока-оценка == 2.2.0 tensorflowonspark == 2.2.1 termcolor == 1.1.0 terminado == 0.8.3 testpath == 0.4.4 tf-yarn == 0.5.1 threadpoolctl == 2.1.0 tornado == 6.0.4 traitlets == 4.3.3 urllib3 == 1.25.9 wcwidth == 0.1.9 webencodings == 0.5.1 Werkzeug == 1.0.1 widgetsnbextension == 3.5.1 wrapt == 1.12. 1 zipp == 3.1.0 не удалось с 1201 requests == 2.23.0 requests-oauthlib == 1.3.0 rsa == 4.6 ruamel.yaml == 0.16.10 ruamel.yaml.clib == 0.2.0 scikit-learn == 0.23.1 scipy == 1.4. 1 seaborn == 0.10.1 Send2Trash == 1.5.0 шесть ==1.15.0 skein == 0.8.0 sklearn == 0.0 SQLAlchemy == 1.3.17 tbb == 2019.0 tbb4py == 2019.0 tensorboard == 2.2.2 tensorboard -plugin-wit == 1.7.0 tensorflow == 2.2.0 tensorflow-Estimator == 2.2.0 tensorflowonspark == 2.2.1 termcolor == 1.1.0 terminado == 0.8.3 testpath == 0.4.4 tf-yarn == 0.5.1 threadpoolctl == 2.1.0 tornado == 6.0.4 traitlets == 4.3.3 urllib3 == 1.25.9 wcwidth == 0.1.9 webencodings == 0.5.1 Werkzeug == 1.0.1 widgetsnbextension == 3.5.1 wrapt == 1.12.1 zipp == 3.1.0 не удалось с 1201 requests == 2.23.0 requests-oauthlib == 1.3.0 rsa == 4.6 ruamel.yaml == 0.16.10 ruamel.yaml.clib == 0.2.0 scikit-learn == 0.23.1 scipy == 1.4. 1 seaborn == 0.10.1 Send2Trash == 1.5.0 шесть ==1.15.0 skein == 0.8.0 sklearn == 0.0 SQLAlchemy == 1.3.17 tbb == 2019.0 tbb4py == 2019.0 tensorboard == 2.2.2 tensorboard -plugin-wit == 1.7.0 tensorflow == 2.2.0 tensorflow-Estimator == 2.2.0 tensorflowonspark == 2.2.1 termcolor == 1.1.0 terminado == 0.8.3 testpath == 0.4.4 tf-yarn == 0.5.1 threadpoolctl == 2.1.0 tornado == 6.0.4 traitlets == 4.3.3 urllib3 == 1.25.9 wcwidth == 0.1.9 webencodings == 0.5.1 Werkzeug == 1.0.1 widgetsnbextension == 3.5.1 wrapt == 1.12.1 zipp == 3.1.0 не удалось с 1200 tensorboard == 2.2.2 tensorboard-plugin-wit == 1.7.0 tensorflow == 2.2.0 тензор потока-оценка == 2.2.0 tensorflowonspark == 2.2.1 termcolor == 1.1.0 terminado == 0.8.3 testpath == 0.4.4 tf-yarn == 0.5.1 threadpoolctl == 2.1.0 tornado == 6.0.4 traitlets == 4.3.3 urllib3 == 1.25.9 wcwidth == 0.1.9 webencodings == 0.5.1 Werkzeug == 1.0.1 widgetsnbextension == 3.5.1 wrapt == 1.12.1 zipp == 3.1.0 не удалось с 1200 tensorboard == 2.2.2 tensorboard-plugin-wit == 1.7.0 tensorflow == 2.2.0 тензор потока-оценка == 2.2.0 tensorflowonspark == 2.2.1 termcolor == 1.1.0 terminado == 0.8.3 testpath == 0.4.4 tf-yarn == 0.5.1 threadpoolctl == 2.1.0 tornado == 6.0.4 traitlets == 4.3.3 urllib3 == 1.25.9 wcwidth == 0.1.9 webencodings == 0.5.1 Werkzeug == 1.0.1 widgetsnbextension == 3.5.1 wrapt == 1.12.1 zipp == 3.1.0 не удалось с 120

Answer 1

Что не удается при создании pex с одной из ваших зависимостей. У вас действительно много зависимостей. Лучше всего было бы изолировать ваши зависимости для каждого имеющегося у вас варианта использования и создать виртуальную среду меньшего размера или просто попробовать ее только с tenorflow.

Вы можете попробовать выполнить команду pex cli с разными требованиями и посмотреть, какое именно требование создает проблемы. Также важно проверить, работает ли он с более поздней версией pex (в настоящее время tf-yarn использует pex==2.1.1)

pex -r requirements -o myarchive.pex

В качестве альтернативы вы также можете попробовать, работает ли он с conda.

Если вы создадите файл requirements.txt с абсолютно необходимыми требованиями и укажете проблему в https://github.com/criteo/tf-yarn/issues, я могу посмотреть.