Ошибка сегментации 11 при просмотре файлов HDFS

Извиняюсь, потому что я не знаю достаточно, чтобы правильно задать этот вопрос; все, что я знаю, это то, что я получаю сообщение об ошибке Segmentation Fault: 11 всякий раз, когда я пытаюсь перечислить несколько файлов, хранящихся в HDFS, используя PyArrow с libhdfs3 драйвер в Python3:

Python 3.7.1 | packaged by conda-forge | (default, Nov 13 2018, 10:30:07) 
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin

Вот код, который я запускаю:

import pyarrow as pa
fs = pa.hdfs.connect('localhost', 8020, driver='libhdfs3')

Это нормально подключается к HDFS, поэтому я запускаю:

>>> fs.ls("/user/dan/", detail=False)
['/user/dan/testing'] # this directory has 2 files in it

>>> fs.ls("/user/dan/testing", detail=False)
Segmentation fault: 11

Интересно, если я удалю один из файлов...

>>> fs.ls("/user/dan/testing", detail=False)
['/user/dan/testing/C5116966@05.json']

... это работает и не segfault.

Так как я даже не знаю, какая часть моей среды может вызывать это (Python? Pyarrow? Libhdfs3?), Я не уверен, что вообще искать, чтобы найти и устранить неполадки.

Любые мысли или рекомендации с благодарностью!

0 ответов

Другие вопросы по тегам