Как установить идентификатор приложения пряжи в приложении PySpark

Я пытаюсь найти способ создать собственный идентификатор приложения для приложения pyspark, отправленного через YARN в EMR. Обычно идентификаторы приложений YARN находятся в этом формате. application_1632776696096_0006

Есть ли способ как-то изменить их, чтобы добавить префикс или сделать их полностью настраиваемыми?

Ценю твой ответ! заранее спасибо

Источник

1 ответ

ApplicationId - это уникальный идентификатор, созданный внутри yarn, его нельзя изменить, кроме как изменить исходный код. Вы можете достичь цели различения приложений, указав имя приложения. Например:

      spark-submit --name
Источник
Другие вопросы по тегам