Как получить список подпапок в папке hdfs?

Question

Предположим, что мои паркет хранится следующим образом:

hdfs://root/folder1/pqt1.pqt
hdfs://root/folder2/pqt2.pqt
hdfs://root/folder3/pqt3.pqt
hdfs://root/folder4/part1/pqt4part1.pqt
hdfs://root/folder4/part2/pqt4part1.pqt
...

Как мне перечислить подпапки в 'hdfs://root' в R, используя sparklyr? Желаемый результат будет (без рекурсии):

hdfs://root/folder1/
hdfs://root/folder2/
hdfs://root/folder3/
hdfs://root/folder4/
...

и с рекурсией:

hdfs://root/folder1/
hdfs://root/folder2/
hdfs://root/folder3/
hdfs://root/folder4/
hdfs://root/folder4/part1/
hdfs://root/folder4/part2/
...

Answer 1

База R, вероятно, достаточно

list.dirs(path = "hdfs://root", full.names = TRUE, recursive = TRUE)