AWS emr serverless --py-files с заархивированным пакетом проекта не может найти файлы deps .py
Я делаю вариант использования, когда я заархивировал файлы проекта python на S3 со структурой, такой как:
Project1
--bin
---mymain.py
--libs
---mylibs using in mymain.py
Я отправил с помощью --py-files=s3://bucket/filename.zip бессерверное задание EMR. Задание завершилось неудачно, так как не удалось найти mylibs.
Я просмотрел emr без сервера, используя документацию по библиотекам, но он касался только внешних библиотек. Кроме этого, нет никакой документации об использовании файла проекта для emr serverless. Кто-нибудь делал этот вариант использования раньше?
Я попытался создать pyspark_venvsource для документа с внешними библиотеками, но у него все еще была проблема с поиском пути к ./environment/bin.