Проблемы с добавлением коннектора spark-redis в качестве зависимости

Question

Я пытаюсь использовать разъем spark-redis, предоставленный RedisLabs. Я мог бы попробовать это в моей локальной среде, загружая необходимые файлы jars.

Но когда я пытаюсь выполнить его в EMR, мне нужно добавить его в мой файл build.sbt, что-то вроде этого:

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"

Но я получаю сообщение о том, что не могу разрешить эту зависимость. Не может найти библиотеку spark-redis.

Есть ли другой способ сделать это? Любое предложение?

Answer 1

Мне удалось скомпилировать добавление spark-streaming к зависимостям и включить зависимость для spark-streaming с внешнего URL:

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"

libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"