Записать поток данных Flink в таблицу Iceberg ：NoSuchMethodError: org.apache.parquet.schema.Types$PrimitiveBuilder.as

Я пытаюсь записать поток данных flink в айсберг-таблицу, как показано ниже:'''

      val kafkaStream = new KafkaDataSource(parameter, new PacketSchema).getStream(env)
val dataStream = kafkaStream.flatMap(new NullPacketFilter).map(FilteredPacket.from(_).toRow).javaStream

FlinkSink.forRow(dataStream, FilteredPacket.schema)
  .tableLoader(tableLoader)
  .build

тогда я получаю ошибку:

      2021-02-18 18:12:12,086 WARN  org.apache.hadoop.util.NativeCodeLoader [] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2021-02-18 18:12:12,424 INFO  org.apache.iceberg.BaseMetastoreCatalog [] - Table loaded by catalog: iceberg.flink_test.filtered_packets
2021-02-18 18:12:12,477 WARN  org.apache.flink.runtime.taskmanager.Task [] - Source: tianyi -> Flat Map -> Map -> Map -> IcebergStreamWriter (1/1) (9612408d42df7e69b829367434bbc43d) switched from RUNNING to FAILED.
java.lang.NoSuchMethodError: org.apache.parquet.schema.Types$PrimitiveBuilder.as(Lorg/apache/parquet/schema/LogicalTypeAnnotation;)Lorg/apache/parquet/schema/Types$Builder;
   at org.apache.iceberg.parquet.TypeToMessageType.primitive(TypeToMessageType.java:145) ~[tianyi112-1.0-SNAPSHOT.jar:?]
   at org.apache.iceberg.parquet.TypeToMessageType.field(TypeToMessageType.java:88) ~[tianyi112-1.0-SNAPSHOT.jar:?]
   at org.apache.iceberg.parquet.TypeToMessageType.convert(TypeToMessageType.java:65) ~[tianyi112-1.0-SNAPSHOT.jar:?]
   at org.apache.iceberg.parquet.ParquetSchemaUtil.convert(ParquetSchemaUtil.java:43) ~[tianyi112-1.0-SNAPSHOT.jar:?]
   ...

Я проверил содержимое jar, он включает необходимый класс Types $ PrimitiveBuilder:

      2651 Fri Feb 19 08:32:10 CST 2021 org/apache/parquet/schema/Types$PrimitiveBuilder.class
3101 Fri Feb 19 08:32:12 CST 2021 org/apache/flink/hive/shaded/parquet/schema/Types$PrimitiveBuilder.clas

когда я проверяю исходный код, обнаружил ошибку в идее:

Источник библиотеки не соответствует байт-коду для класса TypeToMessageType

но все остальные классы в порядке.

Я попытался удалить iceberg-parquet.jar и parquet-column.jar в моем репозитории maven и повторно импортировать проект, а также попытался отключить плагин Idea Lombok, но безрезультатно.

версия: CDH 6.3.2 Flink 1.11.2 Iceberg 0.11.0

Источник

1 ответ

Я решил проблему. Причина - конфликты jar, в частности, parquet-hadoop.jar (hive-exec 2.3.4) и iceberg-parquet.jar (0.11.0)

Источник
Другие вопросы по тегам