ACL не поддерживаются по крайней мере в одной файловой системе: Distcp HDFS
Согласно документации distcp -> Если указан параметр -pa, DistCp сохраняет разрешения также потому, что ACL - это супер-набор разрешений.
но hadoop distcp -pa -delete -update /src/path /dest/path/ не работает с ACL, не поддерживаемыми хотя бы в одной файловой системе. Заполните журналы ниже
Выполненная выше команда не выполнена. Предполагается скопировать файл hdfs из источника в место назначения с помощью ACL.
org.apache.hadoop.tools.CopyListing $ AclsNotSupportedException: ACL не поддерживаются для файловой системы: hdfs://10.20.0.7:8020 в org.apache.hadoop.tools.util.DistCpUtils.checkFileSystemAclSupport(DistCpUtils.java:38) org.apache.hadoop.tools.DistCp.configureOutputFormat(DistCp.java:353) в org.apache.hadoop.tools.DistCp.createJob(DistCp.java:247) в org.apache.hadoop.tools.DistCp.createAndSubJ DistCp.java:176) в org.apache.hadoop.tools.DistCp.execute(DistCp.java:155) в org.apache.hadoop.tools.DistCp.run(DistCp.java:128) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.hadoop.tools.DistCp.main(DistCp.java:462)
1 ответ
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<insecure_hdp>/test01.txt hdfs://<secure_hdp>/user/hdfs
Обязательно запустите эту команду из безопасного кластера, если он у вас есть.
ИЛИ ЖЕ
Установите следующее значение в вашем core-site.xml
и попробуй еще раз:
<property>
<name>ipc.client.fallback-to-simple-auth-allowed</name>
<value>true</value>
</property>