Где найти класс ParquetDatasetPiece?
Читая скрипт petastorm/etl/dataset_metadata.py, я нашел этот код
if row_groups_key != ".":
for row_group in range(row_groups_per_file[row_groups_key]):
rowgroups.append(pq.ParquetDatasetPiece(
piece.path,
open_file_func=dataset.fs.open,
row_group=row_group,
partition_keys=piece.partition_keys
))
где pq определяется как:
from pyarrow import parquet as pq
Я везде искал класс ParquetDatasetPiece и не могу его найти. Кто-нибудь может сказать мне, где находится класс ParquetDatasetPiece?