Где найти класс ParquetDatasetPiece?

Читая скрипт petastorm/etl/dataset_metadata.py, я нашел этот код

      if row_groups_key != ".":
    for row_group in range(row_groups_per_file[row_groups_key]):
        rowgroups.append(pq.ParquetDatasetPiece(
            piece.path,
            open_file_func=dataset.fs.open, 
            row_group=row_group, 
            partition_keys=piece.partition_keys
        ))

где pq определяется как:

      from pyarrow import parquet as pq

Я везде искал класс ParquetDatasetPiece и не могу его найти. Кто-нибудь может сказать мне, где находится класс ParquetDatasetPiece?

0 ответов

Другие вопросы по тегам