Spark Runner Apache Beam на AWS lambda

Question

Я использую SparkRunner Apache Beam для преобразования некоторых данных (SparkRunner позволяет Apache Beam запускать Apache Spark Engine поверх своего конвейера). Приложение отлично работает на моем локальном компьютере. Я создаю банку и использую -

      java -jar word-count-beam-bundled-0.1.jar --runner=SparkRunner --inputFile=*.json --output=count 

Чтобы запустить мой код, и он работает, как ожидалось. Но когда я загружаю этот код в AWS Lambda и пытаюсь запустить с использованием аргументов - { "runner": "SparkRunner", "inputUrl": "s3://s3URi", "outputUrl": "s3://s3URi", "accessKey": "******************", "secretKey": "********************" }

Не работает. Я получаю следующую ошибку -:

"errorMessage": "Невозможно назначить запрошенный адрес: служба 'sparkDriver' завершилась неудачно после 16 попыток (на случайном свободном порте)! Рассмотрите возможность явной установки соответствующего адреса привязки для службы 'sparkDriver' (например, spark.driver.bindAddress для SparkDriver) на правильный адрес привязки.",

Мне нужна была помощь в настройке адреса привязки для sparkDriver. Я попытался отправить дополнительный аргумент с меткой sparkMaster с s3 URI файла jar, но это не сработало. Я был бы очень признателен за помощь.