AWS Glue Spark submit use Spark avro

Как указать / передать параметры пакетов в задание AWS glue spark?

Я использую Glue версии 1, которая поддерживает Spark 2.4.3, и хочу использовать Spark avro для чтения некоторых файлов avro.

Источник

1 ответ

Решение

Вы не можете предоставить опцию пакета для заданий клея, вместо этого загрузите зависимые банки из репозитория maven.

Затем поместите эти банки в s3 и передайте их в качестве дополнительных к вашей работе. Таким образом, вы можете получить доступ к этим банкам в рамках задания.

За spark2.4.3 тебе нужно передать эту банку

https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar

Источник
Другие вопросы по тегам