Документация для библиотеки Parquet-mr java

Question

Мне нужно использовать библиотеку Parquet-mr для программного чтения файлов Parquet на Java. Мне нужно выборочно прочитать несколько столбцов и пропустить другие столбцы (например, прочитать 3 столбца из 500 столбцов). Я не могу найти документацию о том, как это сделать. Может кто-нибудь, пожалуйста, указать мне на один, если таковой имеется?

Answer 1

К сожалению, это не слишком хорошо задокументировано. Есть несколько примеров, которые вы можете проверить здесь. Однако они используют класс ExampleParquetWriter из Parquet, который должен использоваться только в качестве примера. Тем не менее, это работает.

Надлежащим способом использования Parquet будет либо использование одной из поддерживаемых объектных моделей (например, Avro, Thrift или Protobuf), либо реализация вашей собственной объектной модели (которая обеспечивает наилучшую производительность). Вы можете прочитать больше об объектных моделях здесь.