ACL не поддерживаются по крайней мере в одной файловой системе: Distcp HDFS

 Согласно документации distcp -> 
Если указан параметр -pa, DistCp сохраняет разрешения также потому, что 
ACL - это супер-набор разрешений.
но hadoop distcp -pa -delete -update /src/path /dest/path/
не работает с ACL, не поддерживаемыми хотя бы в одной файловой системе.
Заполните журналы ниже

Выполненная выше команда не выполнена. Предполагается скопировать файл hdfs из источника в место назначения с помощью ACL.

org.apache.hadoop.tools.CopyListing $ AclsNotSupportedException: ACL не поддерживаются для файловой системы: hdfs://10.20.0.7:8020 в org.apache.hadoop.tools.util.DistCpUtils.checkFileSystemAclSupport(DistCpUtils.java:38) org.apache.hadoop.tools.DistCp.configureOutputFormat(DistCp.java:353) в org.apache.hadoop.tools.DistCp.createJob(DistCp.java:247) в org.apache.hadoop.tools.DistCp.createAndSubJ DistCp.java:176) в org.apache.hadoop.tools.DistCp.execute(DistCp.java:155) в org.apache.hadoop.tools.DistCp.run(DistCp.java:128) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.hadoop.tools.DistCp.main(DistCp.java:462)

1 ответ

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<insecure_hdp>/test01.txt hdfs://<secure_hdp>/user/hdfs

Обязательно запустите эту команду из безопасного кластера, если он у вас есть.

ИЛИ ЖЕ

Установите следующее значение в вашем core-site.xml и попробуй еще раз:

<property> 
  <name>ipc.client.fallback-to-simple-auth-allowed</name>
  <value>true</value>  
</property>
Другие вопросы по тегам