Невозможно записать данные в таблицу с помощью Apache Iceberg с помощью Spark

Question

Я новичок в Apache Iceberg. Я хочу выполнять операции чтения и записи с помощью Apache Iceberg. Я использую Spark 3.0.0.

код:

          System.setProperty("hadoop.home.dir","C:\\hadoop" )
    val conf = new SparkConf()
    conf.set("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
    conf.set("spark.sql.catalog.spark_catalog","org.apache.iceberg.spark.SparkSessionCatalog")
    conf.set("spark.sql.catalog.spark_catalog.type","hive")
    conf.set("spark.sql.catalog.local","org.apache.iceberg.spark.SparkCatalog")
    conf.set("spark.sql.catalog.local.type","hadoop")
    conf.set("spark.sql.catalog.local.warehouse","warehouse")

    val spark = SparkSession.builder().master("local").config(conf).getOrCreate()
    
    spark.sql("CREATE TABLE local.db.table (id bigint, data string) USING iceberg")
    spark.sql("INSERT INTO local.db.table VALUES (1, 'a'), (2, 'b'), (3, 'c')")

Список зависимостей:

          compile group: 'org.scala-lang', name: 'scala-library', version: '2.12.0'

    compile group: 'org.apache.spark', name: 'spark-core_2.12', version: '3.0.0'
    compile group: 'org.apache.spark', name: 'spark-sql_2.12', version: '3.0.0'

    compile group: 'org.apache.iceberg', name: 'iceberg-spark', version: '0.11.1'
    compile group: 'org.apache.iceberg', name: 'iceberg-spark3-runtime', version: '0.11.1'

    compile group:  'org.apache.hive', name: 'hive-metastore', version: '2.0.1'

Сообщение об исключении:

      java.lang.ClassCastException: org.apache.iceberg.shaded.org.apache.parquet.schema.MessageType cannot be cast to org.apache.parquet.schema.MessageType
    at org.apache.iceberg.parquet.ParquetWriter.<init>(ParquetWriter.java:96)
    at org.apache.iceberg.parquet.Parquet$WriteBuilder.build(Parquet.java:250)
    at org.apache.iceberg.spark.source.SparkAppenderFactory.newAppender(SparkAppenderFactory.java:110)

Нужна ли мне какая-либо другая зависимость для включения приведения типа MessageType.

Answer 1

При использовании Spark и Iceberg вы хотите использовать только iceberg-spark3-runtimeбанка. Это закрашенная банка, которая защищает от конфликтов зависимостей с зависимостями Spark. Если вы также включите iceberg-spark вы столкнетесь с конфликтами, поскольку это незатененный jar для Spark 2 и будет включать незатененные зависимости, которые будут конфликтовать как с Spark3, так и с Iceberg-Spark3-Runtime.

Таким образом, вы должны удалить

          compile group: 'org.apache.iceberg', name: 'iceberg-spark', version: '0.11.1'

И это

          compile group: 'org.apache.iceberg', name: 'iceberg-spark3-runtime', version: '0.11.1'

Должен быть отмечен как предоставленная (или во время выполнения) зависимость