Как восстановить ID-приложение Yarn из java

Я хотел бы восстановить приложение id пряжи, например: application_1459542433815_0002 из кода Java.

Объясняю, я хотел бы указать каталог, в котором будет проверяться набор данных Spark. мой каталог следующий:

      /my_env/work/checkpoints/date_folder/yarn_App_id

Я установил его в каталог, но yarn_App_id все еще не найден, как его восстановить.

мой код следующий:

      public static String checkpointDir(Dataset<Row> dataSet) {
        String directory;
        DateTimeFormatter dtf = DateTimeFormatter.ofPattern("uuuu-MM-dd");
        LocalDate localDate = LocalDate.now();
        String current_date=dtf.format(localDate);
        
        // get App_id from session
        SparkSession app_id = SparkUtil.getSession(dataSet);
        LogUtil.info("application id is "+app_id);
        String path_to_workDir = System.getenv("work_root_path"); 
        LogUtil.info("path_to_workDir is "+path_to_workDir);
        directory = path_to_workDir+"checkpoints/"+current_date+"/"+app_id;
        LogUtil.info("directory is "+directory);
        
        return directory;   
        
    } 

Я получил как ценность app_id: org.apache.spark.sql.SparkS, это не то, что я ищу.

Как я могу восстановить Java-код формы App_id из Yarn, чтобы получить такой каталог (пряжа приложения id - это всего лишь пример): /my_env/work/checkpoints/date_folder/application_1459542433815_0002

Спасибо

0 ответов

Другие вопросы по тегам