Ошибка сегментации 11 при просмотре файлов HDFS
Извиняюсь, потому что я не знаю достаточно, чтобы правильно задать этот вопрос; все, что я знаю, это то, что я получаю сообщение об ошибке Segmentation Fault: 11 всякий раз, когда я пытаюсь перечислить несколько файлов, хранящихся в HDFS, используя PyArrow
с libhdfs3
драйвер в Python3:
Python 3.7.1 | packaged by conda-forge | (default, Nov 13 2018, 10:30:07)
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin
Вот код, который я запускаю:
import pyarrow as pa
fs = pa.hdfs.connect('localhost', 8020, driver='libhdfs3')
Это нормально подключается к HDFS, поэтому я запускаю:
>>> fs.ls("/user/dan/", detail=False)
['/user/dan/testing'] # this directory has 2 files in it
>>> fs.ls("/user/dan/testing", detail=False)
Segmentation fault: 11
Интересно, если я удалю один из файлов...
>>> fs.ls("/user/dan/testing", detail=False)
['/user/dan/testing/C5116966@05.json']
... это работает и не segfault.
Так как я даже не знаю, какая часть моей среды может вызывать это (Python? Pyarrow? Libhdfs3?), Я не уверен, что вообще искать, чтобы найти и устранить неполадки.
Любые мысли или рекомендации с благодарностью!