импорт петасторма не работает

Я пытаюсь использовать петасторм в своем проекте. Мне удалось успешно установить petastorm, и когда я пытаюсь прочитать данные, я сталкиваюсь со следующей проблемой. Я не уверен, что не так в моем коде. Ребята, не могли бы вы помочь мне в этом.

      from petastorm import make_reader


def generate_hello_world_dataset(output_url='file:///tmp/panda'):
    with make_reader(output_url) as reader:
        for row in reader:
            print(row)

if __name__ == '__main__':
    generate_hello_world_dataset()

Данные:

      scala> val data = spark.read.parquet("/tmp/panda/")
data: org.apache.spark.sql.DataFrame = [id: bigint, txt: string]

scala> data.show
+------+---+
|    id|txt|
+------+---+
|374784|foo|
|374785|foo|
|374786|foo|
|374787|foo|
|374788|foo|
|374789|foo|
|374790|foo|
|374791|foo|
|374792|foo|
|374793|foo|
|374794|foo|
|374795|foo|
|374796|foo|
|374797|foo|
|374798|foo|
|374799|foo|
|374800|foo|
|374801|foo|
|374802|foo|
|374803|foo|
+------+---+

Ошибка:

      (venv) root@2690c6ab29c4:~# python3 /tmp/panda.py 
Traceback (most recent call last):
  File "/tmp/panda.py", line 1, in <module>
    from petastorm import make_reader
  File "/root/venv/lib/python3.5/site-packages/petastorm/__init__.py", line 16, in <module>
    from petastorm.reader import make_reader, make_batch_reader  # noqa: F401
  File "/root/venv/lib/python3.5/site-packages/petastorm/reader.py", line 437
    raise RuntimeError(f"No fields matching the criteria '{fields}' were found in the dataset {dataset_path}.")

0 ответов

Другие вопросы по тегам