Драйвер искры остановился после получения результата с помощью команды spark-submit
Я установил автономный режим spark-1.5.1 и использую команду spark-submit для получения результата. На самом деле я хотел бы получить результат, используя spark скрытый rest API. При остановке spark-драйвера я не могу получить результат, используя rest API.
После поиска с помощью spark-submit, я обнаружил, что после получения вывода весь spark-context, драйвер останавливается.
Может ли кто-нибудь, пожалуйста, помогите
Вот результат консоли: -
результат - Строки с: 60, строки с b: 29 15/11/01 08:46:08 ИНФОРМАЦИЯ SparkContext: вызов stop() из ловушки отключения 15/11/01 08:46:08 ИНФОРМАЦИЯ ContextHandler: остановлено oejsServletContextHandler{/metrics/json,null} 15/11/01 08:46:08 ИНФОРМАЦИЯ ContextHandler: остановлено oejsServletContextHandler{/stage /stage/kill,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/api,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/static,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/executors/threadDump/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/executors/threadDump,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/executors/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/executors,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено œj sServletContextHandler{/environment/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/environment,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/storage/rdd/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/storage/rdd,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/storage/json,null} 15/11/01 08:46:08 ИНФОРМАЦИЯ ContextHandler: остановлено oejsServletContextHandler{/storage,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/stage /pool/json,null} 15/11/01 08:46:08 ИНФОРМАЦИЯ ContextHandler: остановлено oejsServletContextHandler{/stage /pool,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/stage /stage/json,null} 15/11/01 08:46:08 ИНФОРМАЦИЯ ContextHandler: остановлено oejsServletContextHandler{/stage /stage,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/stage / json, null} 15/11/01 08:46: 08 я NFO ContextHandler: остановлено oejsServletContextHandler{/stage, null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/jobs/job/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/jobs/job,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler{/jobs/json,null} 15/11/01 08:46:08 INFO ContextHandler: остановлено oejsServletContextHandler {, null} 15/11/01 08:46:08 ИНФОРМАЦИЯ SparkUI: остановлен веб-интерфейс Spark по адресу http://182.95.208.242:4040/15/11/01 08:46:08 ИНФОРМАЦИЯ DAGScheduler: остановка DAGScheduler 15/11/01 08:46:08 ИНФОРМАЦИЯ SparkDeploySchedulerBackend: закрытие всех исполнителей 15/11/01 08:46:08 ИНФОРМАЦИЯ SparkDeploySchedulerBackend: запрос каждого исполнителя на выключение 15/11/01 08:46:09 ИНФОРМАЦИЯ MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint! 15/11/01 08:46:09 ИНФОРМАЦИЯ MemoryStore: очистка MemoryStore 15/11/01 08:46:09 ИНФОРМАЦИЯ BlockManager: BlockManager остановлен 15/11/01 08:46:09 INFO BlockManagerMaster: BlockManagerMaster остановлен 15/11/01 08:46:09 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator остановлен! 15/11/01 08:46:09 ИНФОРМАЦИЯ SparkContext: успешно остановлен SparkContext 15/11/01 08:46:09 ИНФОРМАЦИЯ ShutdownHookManager: вызван хук отключения 15/11/01 08:46:09 ИНФОРМАЦИЯ ShutdownHookManager: Удаление каталога /tmp/spark-a2d4622c-d3c0-447b-aa73-21a3b6af1539 15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator: выключение удаленного демона. 15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator: удаленное отключение демона; приступая к промывке удаленных транспортов. ipieawb1@ мастера:~/ искровым 1.5.1 / бен $
Я пытаюсь запустить простой код, например
открытый класс SimpleApp {открытый статический void main(String[] args) выдает InterruptedException {
SparkConf conf = new SparkConf().setAppName("Simple Application").
setMaster("spark://master.genpact.com:7078").set("spark.eventLog.enabled", "true");
File tempDir=Files.createTempDir();
tempDir.deleteOnExit();
JavaSparkContext sc = new JavaSparkContext(conf);
java.util.List<String> strings = Arrays.asList("Hello", "World");
JavaRDD<String> s1 = sc.parallelize(strings);
JavaRDD<String> s2 = sc.parallelize(strings);
// Varargs
JavaRDD<String> sUnion = sc.union(s1, s2);
System.out.println("Union *******"+sUnion.collect());
}}