Соединитель HDFS для хранения объектов: не содержит допустимого хоста: полномочия порта

Question

Я настроил HDFS Connector для хранения объектов, как описано здесь: https://docs.us-phoenix-1.oraclecloud.com/Content/API/SDKDocs/hdfsconnector.htm

Когда я бегу distcp с помощью следующей команды:

hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://bucket@namespace

Я получаю ошибку:

tools.DistCp: Обнаружено исключение java.lang.IllegalArgumentException: Не содержит действительный хост: администратор порта: bucket@namespace

Поскольку он работает на другом кластере, я думаю, что это проблема конфигурации, но я не могу найти причину.

Есть какие-нибудь предложения о том, как это исправить?

Answer 1

Из любопытства, вы действительно использовали именно текст oci://bucket@namespace? bucket а также namespace должны быть заполнителями.

Вы можете найти и то, и другое, если войдете в консоль OCI (например, https://console.us-phoenix-1.oraclecloud.com/), перейдите в "Хранилище -> Хранилище объектов", а затем щелкните по имени корзины (или, если вы нет ведра, создайте его).

На странице сведений о корзине вы можете найти имя корзины (крупным шрифтом) и имя пространства имен.

Например, на этом скриншоте имя сегмента - "MyTestBucket", а имя пространства имен - "mynamespace".

Поэтому URL OCI должен быть: oci://MyTestBucket@mynamespace

hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://MyTestBucket@mynamespace

Пожалуйста, простите меня, если я неправильно понял вашу проблему.