Приложение искры Кассандры не удается с ПОЛУЧЕННЫМ СИГНАЛОМ 15: SIGTERM

Я запускаю искровое приложение, использующее спарк-кассандра-коннектор.

Ниже приведены мои варианты отправки искры

--class com.mobi.vserv.driver.Query5kPids1
--num-исполнителей 4
--executor-memory 4g
--executor-cores 2
- драйвер памяти 4g

Но я продолжаю получать следующую ошибку

16/03/30 11:57:07 ОШИБКА executor.CoarseGrainedExecutorBackend: Драйвер 10.225.46.84:60637 отсоединен! Выключение.

Также кассандра подключается, а затем отключается

INFO Cluster: New Cassandra host /10.229.84.123:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.229.84.123 (us-east)

INFO Cluster: New Cassandra host /10.229.19.210:9042 added -> This is Seed Node
(This Message -> INFO LocalNodeFirstLoadBalancingPolicy: Doesnt show for Seed Node)

INFO Cluster: New Cassandra host /10.95.215.249:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.95.215.249 (us-east)

INFO Cluster: New Cassandra host /10.43.182.167:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.43.182.167 (us-east)

INFO Cluster: New Cassandra host /10.155.34.67:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.155.34.67 (us-east)

INFO Cluster: New Cassandra host /10.237.235.209:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.237.235.209 (us-east)

INFO CassandraConnector: Connected to Cassandra cluster: dmp Cluster

INFO CassandraConnector: Disconnected from Cassandra cluster: dmp Cluster

И, наконец, Пряжа убивает мастер приложения

ОШИБКА ApplicationMaster: ПОЛУЧЕННЫЙ СИГНАЛ 15: SIGTERM

Я также добавил

--conf spark.yarn.executor.memoryOverhead = 1024
--conf spark.yarn.driver.memoryOverhead = 1024

Но тогда приложение продолжает работать вечно.

Я не знаю, в чем здесь проблема, так как приложение запускалось раньше и оно успешно запущено

POM используется

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.0</version>
  </dependency>

  <dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector_2.10</artifactId>
    <version>1.4.0-M1</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.cassandra</groupId>
   <artifactId>cassandra-driver-core</artifactId>
   <version>2.1.6</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.spark</groupId>
   <artifactId>spark-cassandra-connector-java_2.10</artifactId>
   <version>1.4.0-M1</version>
  </dependency>
Источник

1 ответ

Нашел решение, так как была ошибка со спарк-cassandra-разъемом 1.4.0-M1, как упомянуто здесь https://datastax-oss.atlassian.net/browse/SPARKC-214

Поэтому, когда я использовал следующую версию, то есть 1.4.0-M2. Работало нормально.

Но все же то, что кажется наиболее странным, это то, что раньше работало с 1.4.0-M1.

Источник
Другие вопросы по тегам