Канал данных AWS пропускает удаленный JAR в S3

Question

У меня есть конвейер данных AWS, в котором я пытаюсь выполнить шаг, код которого находится в JAR, расположенном в корзине S3. Я указываю путь и имя класса, но журналы конвейера читают "Предупреждение: пропустить удаленный jar", и мой код никогда не выполняется. Тело моего шага:

command-runner.jar,spark-submit,--deploy-mode,cluster,--master,yarn,--class,com.myorg.myapp.MyClass,s3://MyBucket/my-jar.jar,myArg

Теперь в документации кажется, что я могу запустить код в удаленном банке, но это не так? Кто-нибудь испытал это и сделал эту работу?

Answer 1

Я сделал это следующим образом:

Я указал путь к банке как {input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jarгде input.directoryPath происходит от использования S3DataNode,