Сеанс WARN: Ошибка создания пула в /xxx.xxx.xxx.xxx:28730

Question

Я пытаюсь подключиться к базе данных ScyllaDB, работающей в IBM Cloud из Spark 2.3, работающей в IBM Analytics Engine.

Я запускаю искровую оболочку вот так...

$ spark-shell --master local[1] \
       --files jaas.conf \
       --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0,datastax:spark-cassandra-connector:2.3.0-s_2.11,commons-configuration:commons-configuration:1.10 \
       --conf "spark.driver.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf" \
       --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf" \
       --conf spark.cassandra.connection.host=xxx1.composedb.com,xxx2.composedb.com,xxx3.composedb.com \
       --conf spark.cassandra.connection.port=28730 \
       --conf spark.cassandra.auth.username=scylla \
       --conf spark.cassandra.auth.password=SECRET \
       --conf spark.cassandra.connection.ssl.enabled=true \
       --num-executors 1  \
       --executor-cores 1 

Затем выполните следующий искровой скала-код:

import com.datastax.spark.connector._
import org.apache.spark.sql.cassandra._

val stocksRdd = sc.cassandraTable("stocks", "stocks")

stocksRdd.count()

Тем не менее, я вижу кучу предупреждений:

18/08/23 10:11:01 WARN Cluster: You listed xxx1.composedb.com/xxx.xxx.xxx.xxx:28730 in your contact points, but it wasn't found in the control host's system.peers at startup
18/08/23 10:11:01 WARN Cluster: You listed xxx1.composedb.com/xxx.xxx.xxx.xxx:28730 in your contact points, but it wasn't found in the control host's system.peers at startup
18/08/23 10:11:06 WARN Session: Error creating pool to /xxx.xxx.xxx.xxx:28730
com.datastax.driver.core.exceptions.ConnectionException: [/xxx.xxx.xxx.xxx:28730] Pool was closed during initialization
...

Тем не менее, после трассировки стека в предупреждении я вижу ожидаемый результат:

res2: Long = 4 

Если я перейду к пользовательскому интерфейсу compose, я увижу карту json:

[
  {"xxx.xxx.xxx.xxx:9042":"xxx1.composedb.com:28730"},
  {"xxx.xxx.xxx.xxx:9042":"xxx2.composedb.com:28730"},
  {"xxx.xxx.xxx.xxx:9042":"xxx3.composedb.com:28730"}
]

Кажется, предупреждение относится к файлу карты.

Каковы последствия этого предупреждения? Могу ли я игнорировать это?

---

ПРИМЕЧАНИЕ: я видел похожий вопрос, однако я считаю, что этот вопрос отличается из-за файла карты, и я не могу контролировать, как кластер scylladb был настроен Compose.

Answer 1

Это просто предупреждение. Предупреждение происходит потому, что IP-адреса, которые пытается достичь искра, неизвестны самой Сцилле. Очевидно, Spark подключается к кластеру и получает ожидаемую информацию, поэтому с вами все будет в порядке.