Apache Spark 2.3.1 - твиттер не является членом пакета org.apache.spark.streaming

Question

Прежде всего, я некоторое время искал эту проблему, и я вижу, что существуют другие решения по этому вопросу, но ничего для Apache Spark версии 2.3.1.

Короче говоря, я пытаюсь создать приложение, которое использует bahir для выполнения аналитических твиттер-сообщений в spark.

Тем не менее, я использую Apache Spark версии 2.3.1, поэтому я нашел 2.3.0-SNAPSHOT

Но когда я пытаюсь использовать это bin/spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.3.0-SNAPSHOT, это не может быть найдено, от моей местной искры оболочки:

:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: org.apache.bahir#spark-streaming-twitter_2.11;2.3.0-SNAPSHOT: not found]

Я могу быть глупым предположением, но я подумал, что, возможно, 2.3.0 подойдет для 2.3.1.

Я могу получить версию 2.2.1, и twitter4j, кажется, работает, однако у меня все еще возникают проблемы с реальным streaming.twitter_ работать с Spark 2.3.1. Из моей местной искры-оболочки:

scala> import org.apache.spark.streaming.twitter._ <console>:23: error: object twitter is not a member of package org.apache.spark.streaming import org.apache.spark.streaming.twitter._
                                     ^

Было бы интересно узнать, если кто-нибудь знает, можно ли его использовать с Apache Spark 2.3.1?

Или я просто вынужден понизить версию Spark, чтобы она заработала?

Я делаю это в блокноте под названием Zeppelin, но я также пытался сделать это вне Zeppelin, так что, похоже, не имеет ничего общего с ноутбуком, который я использую.

Благодарен за любые идеи.

Answer 1

Я столкнулся с той же проблемой. Я не могу убавить искру, потому что мне нужно 2.3 с другим гелием.. Так что попробую зависимость от bahir

<dependency>
    <groupId>org.apache.bahir</groupId>
    <artifactId>spark-streaming-twitter_2.11</artifactId>
    <version>2.3.0</version>
</dependency>

Я дам вам знать, если это сработает...

Изменить: это сработало.

%spark2.dep
z.reset()
z.addRepo("MavenCentral").url("https://mvnrepository.com/")
z.load("org.apache.bahir:spark-streaming-twitter_2.11:2.3.0")

Он решает проблему с несуществующими новыми библиотеками твиттера, а также решает проблему с отсутствующими классами из "старой искры" в "новой искре".

Я смог запустить примеры сумм, используя карту листовок на javascript и искру 2.3 искры:)