"Исключение FileNotFoundException в listStatus" при использовании DistCP с HTTPFS и файла, содержащего кодируемые символы
Я копирую данные между двумя кластерами HDFS на основе Hadoop 3.1. Из-за сетевых ограничений служба HTTPFS открывает исходный кластер через webshfs, а служба DistCP, работающая на целевом кластере, копирует данные из источника в локальную HDFS по протоколу hdfs.
При копировании путей, которые содержат символы "=", например:
webhdfs:///data/year=2018/month=10/day=25/part=1/part-<something>.snappy.parquet
Я получил:
ERROR org.apache.hadoop.tools.SimpleCopyListing:593 - FileNotFoundException exception in listStatus: File /data/year%3D2018 does not exist.
Бег:
curl "http://httpfs:14000/webhdfs/v1/data/year%3D2018?op=liststatus"
Возвращает действительный результат.
Есть идеи?