Как восстановить ID-приложение Yarn из java
Я хотел бы восстановить приложение id пряжи, например:
application_1459542433815_0002
из кода Java.
Объясняю, я хотел бы указать каталог, в котором будет проверяться набор данных Spark. мой каталог следующий:
/my_env/work/checkpoints/date_folder/yarn_App_id
Я установил его в каталог, но yarn_App_id все еще не найден, как его восстановить.
мой код следующий:
public static String checkpointDir(Dataset<Row> dataSet) {
String directory;
DateTimeFormatter dtf = DateTimeFormatter.ofPattern("uuuu-MM-dd");
LocalDate localDate = LocalDate.now();
String current_date=dtf.format(localDate);
// get App_id from session
SparkSession app_id = SparkUtil.getSession(dataSet);
LogUtil.info("application id is "+app_id);
String path_to_workDir = System.getenv("work_root_path");
LogUtil.info("path_to_workDir is "+path_to_workDir);
directory = path_to_workDir+"checkpoints/"+current_date+"/"+app_id;
LogUtil.info("directory is "+directory);
return directory;
}
Я получил как ценность
app_id
:
org.apache.spark.sql.SparkS
, это не то, что я ищу.
Как я могу восстановить Java-код формы App_id из Yarn, чтобы получить такой каталог (пряжа приложения id - это всего лишь пример):
/my_env/work/checkpoints/date_folder/application_1459542433815_0002
Спасибо