в python hdfs Есть ли способ использовать подстановочный знак или регулярное выражение в методе списка?
В linux hadoop fs -ls я могу использовать подстановочный знак (/sandbox/*), но метод списка клиентов pyhon hdfs не работает в этом случае как неизвестный путь. Есть ли другой способ использования подстановочных знаков в python-hdfs?
1 ответ
Решение
Нашел это, которое использует os.walk с fnmatch, и адаптировал его к hadoop_client.
вот пример поиска файлов csv:
for root, dirs, files in hc.walk(Path):
for filename in fnmatch.filter(files, '*.csv'):
print(os.path.join(root, filename))