Как справиться с этим исключением паркета
Я пишу protobuf для Parquet с помощью ProtoParquetWriter, я также пишу в локальную HDFS и пишу только один файл для каждого parquetWriter.
мой код работает в среде больших данных.
проблема в том, что примерно через 30 минут я начинаю получать следующее исключение:
java.lang.ClassCastException: org.apache.parquet.io.MessageColumnIO не может быть приведен к org.apache.parquet.io.PrimitiveColumnIO в org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.getCavaColumnWer org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.addLong(MessageColumnIO.java:449) в org.apache.parquet.proto.ProtoWriteSupport$LongWriter.writeRawValue(ProtoWriteSuppto.ava.arg.ProtoWriteSupport$FieldWriter.writeField(ProtoWriteSupport.java:145) в org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeAllFields(ProtoWriteSupport.java:229) в org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeTopLevelMessage(ProtoWriteSupport. Java:194)
Я напечатал сообщение, которое вызывает эту ошибку, и я не вижу никаких проблем с ним.
любая идея?