Как разграничить файловую систему MAPR и хранилище BLOB-объектов HDInsight

Question

Я пытаюсь выполнить команду distcp ниже, однако она выдает исключение:

hadoop distcp date_load=201901* wasb://[e-mail]/luiz/producao/performance/performance_report

Исключением является следующее:

Я пытаюсь выполнить команду distcp ниже, однако она выдает исключение:

hadoop distcp date_load = 201901 * wasb: //[e-mail]/luiz/producao/performance/performance_report

Исключением является следующее:

19/02/06 13:34:53 INFO impl.MetricsConfig: загруженные свойства из hadoop-metrics2.properties 19/02/06 13:34:53 INFO impl.MetricsSystemImpl: Запланированный период моментального снимка при 10 секундах. 19/02/06 13:34:53 INFO impl.MetricsSystemImpl: запущена система метрик azure-file-system 19/02/06 13:34:53 ОШИБКА tools.DistCp: Неверные аргументы: org.apache.hadoop.fs.azure.AzureException: org.apache.hadoop.fs.azure.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных. в org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938) в org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize.inj.jj.ash..azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048) в org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693) в org.apache.hadoop.fs.FileSystem.access$300(FileSystemj. 98) в org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2773) в org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2755) в org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411) в org.apache.hadoop.fs.Path.getFileSystem(Path.java:309) в org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216).) в org.apache.hadoop.tools.DistCp.run(DistCp.java:116) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) в org.apache.hadoop.tools.DistCp.main(DistCp.java:430) Причина: org.apache.hadoop.fs.azur e.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных. по адресу org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730) по адресу org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSF: org.apache.hadoop.fs.azure.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных.

Answer 1

Вы можете подключиться от локального кластера к своей учетной записи хранения Azure.

% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/

Надеюсь это поможет.