Ошибка проверки SBT, вызванная множественными зависимостями protobuf 2/3, несмотря на затенение

Я борюсь с Verify Errors с помощью этого примера проекта, использующего Scio/Bigtable/HBase. Для дерева зависимостей требуется версия protobuf (2.5, 2.6.1, 3.0, 3.1) и, по-видимому, по умолчанию установлено значение 3.2. Я использовал компонент затенения sbt-assembly, не уверен, что я прав с этим.

Мой build.sbt:

name := "scalalab"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
  "com.spotify" %% "scio-core" % "0.3.2",
  "com.google.cloud.bigtable" % "bigtable-hbase-1.2" % "0.9.2",
  "org.apache.hbase" % "hbase-client" % "1.2.5",
  "org.apache.hbase" % "hbase-common" % "1.2.5",
  "org.apache.hadoop" % "hadoop-common" % "2.7.3"
)

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("com.google.**" -> "shadeio.@1").inAll
)

assemblyMergeStrategy in assembly := {
  case x => MergeStrategy.first
}

Мой Main.scala:

import com.google.cloud.bigtable.hbase.adapters.Adapters
import com.google.cloud.bigtable.hbase.adapters.read.DefaultReadHooks
import org.apache.hadoop.hbase.client.Scan

object Main {
  def main(args: Array[String]): Unit = {
    val scan = new Scan
    scan.setMaxVersions()
    scan.addFamily("family".getBytes)
    scan.setRowPrefixFilter("prefix".getBytes)

    val builder = Adapters.SCAN_ADAPTER.adapt(scan, new DefaultReadHooks)

    System.out.println(builder)
  }
}

выходы на:

scalalab git:(master) ? java -cp .:target/scala-2.11/scalalab-assembly-1.0.jar Main
Exception in thread "main" java.lang.VerifyError: Bad return type
Exception Details:
  Location:
    shadeio/cloud/bigtable/hbase/adapters/AppendAdapter.adapt(Lorg/apache/hadoop/hbase/client/Operation;)Lshadeio/bigtable/repackaged/com/google/protobuf/GeneratedMessageV3$Builder; @8: areturn
  Reason:
    Type 'shadeio/bigtable/v2/ReadModifyWriteRowRequest$Builder' (current frame, stack[0]) is not assignable to 'shadeio/bigtable/repackaged/com/google/protobuf/GeneratedMessageV3$Builder' (from method signature)
  Current Frame:
    bci: @8
    flags: { }
    locals: { 'shadeio/cloud/bigtable/hbase/adapters/AppendAdapter', 'org/apache/hadoop/hbase/client/Operation' }
    stack: { 'shadeio/bigtable/v2/ReadModifyWriteRowRequest$Builder' }
  Bytecode:
    0x0000000: 2a2b c000 28b6 00a0 b0

        at shadeio.cloud.bigtable.hbase.adapters.Adapters.<clinit>(Adapters.java:40)
        at Main$.main(Main.scala:12)
        at Main.main(Main.scala)

Что я делаю неправильно?

Спасибо за вашу помощь

Источник

2 ответа

Проблема с зависимостью является проблемой для клиента Cloud Bigtable HBase. Мы исправим это в следующем выпуске. Чтобы исправить вашу текущую проблему, импортируйте "bigtable-hbase" вместо "bigtable-hbase-1.2"

Кроме того, я бы предложил использовать последнюю версию клиента, которая является 0.9.7.1.

Источник

У Scio есть большой артефакт, который вы можете включить через:

libraryDependencies ++= Seq(
  "com.spotify" %% "scio-core" % "0.3.2",
  "com.spotify" %% "scio-bigtable" % "0.3.2"
)

Обычно для других зависимостей нет необходимости использовать Bigtable, поскольку они могут вызвать проблемы.

Обязательно импортируйте пакет bigtable через:

import com.spotify.scio.bigtable._

Проверьте этот BigtableExample.

Примечание, которое вы могли бы дать sbt-pack попытка вместо sbt-assembly полностью использовать кеширование артефактов. Для примера установки sbt проверьте шаблон здесь.

Источник
Другие вопросы по тегам