Отслеживание прогресса приложения Apache Spark / Yarn при детализации задач
Я использую Apache Spark 2 и Yarn для запуска приложения, которое использует SparkContext для запуска нескольких задач. Я ищу способ отслеживать завершения и неудачи на уровне отдельных задач во время работы приложения. В идеале я хотел бы сделать это, не прибегая к пользовательскому коду Java, используя инструменты CLI или PySpark.
Я могу использовать веб-интерфейс Spark2 History Server для просмотра подробных сведений о каждой попытке приложения, его стадии (пока только одной) и задачах, которые в нее входят. Тем не менее, я не нашел удобный для машин способ извлечения этой информации. Кроме того, History Server всегда указывает задачи как успешные, даже если они терпят неудачу, и мне нужен способ определить, когда они терпят неудачу.
Мой кластер - это недавняя установка Hortonworks Ambari с HDP-2.6.4.0, Spark 2.2.0 и Yarn 2.7.3.