Как исправить "отсутствие или недопустимая зависимость, обнаруженная при загрузке файла класса" HBaseContext.class ""

Я пытаюсь удалить некоторые записи из таблицы hbase на основе отдельного фрейма данных искры, связывающего только ключи строк. Однако код выдает эту ошибку сборки - "при загрузке файла класса" HBaseContext.class "обнаружена отсутствующая или недопустимая зависимость"

Моя зависимость -

<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>2.0.0-alpha4</version>

Я пробовал htable.delete(), но он не удаляется, когда я пытаюсь запустить из spark-submit без каких-либо ошибок.

val hbaseContext = new HBaseContext(spark.sparkContext, conf)
    hbaseContext.bulkDelete[Array[Byte]](keysToDeleteFromHBase.map(record => Bytes.toBytes(record.getString(0))).rdd,
    TableName.valueOf(tableName),
    putRecord => new Delete(putRecord), 1000)

0 ответов

Другие вопросы по тегам