загрузка паркета с помощью petastorm, чтобы использовать его как tf.data.dataset

Question

Я пытался реализовать petastorm для загрузки паркета прямо в тензорный поток. Однако я не понимаю, что происходит... После прочтения файла паркета типа:

      with make_batch_reader(dataset_url_or_urls=filepath) as reader:
    dataset = make_petastorm_dataset(reader)

он возвращаетсяtensorflow.python.data.ops.dataset_ops.DatasetV1Adapterзатем, когда я пытаюсь перебрать его, я получаю следующую ошибку

UnknownError: RuntimeError: попытка прочитать образец после остановки средства чтения, созданного make_reader/make_batch_reader. Это может произойти, если контекстный менеджер make_reader/make_batch_reader завершил работу, но вы все равно пытаетесь получить из него образец Traceback (последний вызов последний):

Как это исправить, а также как получить tf.data.dataset вместо DatasetV1Adapter, который, как я считаю, является старой версией tf.data.dataset