Как эффективно войти из PySpark?

Мне интересно, какова лучшая практика для входа из Spark (используя Pyspark) на EMR кластер. Мы хотели бы получить какую-то обратную связь, которую мы можем проверить, чтобы увидеть, как работает работа, и нам не нужно ждать, пока работа не сработает или не завершится, чтобы узнать.