hadoop fs -copyFromLocal localfile.txt cos://remotefile.txt => Не удалось создать /disk2/s3a

Question

Я пытаюсь загрузить файл в хранилище облачных объектов из IBM Analytics Engine:

$ hadoop fs -copyFromLocal LICENSE-2.0.txt \
   cos://xxxxx/LICENSE-2.0.txt

Тем не менее, я получаю предупреждения о невозможности создания дисков:

18/01/26 17:47:47 ПРЕДУПРЕЖДЕНИЕ fs.LocalDirAllocator$AllocatorPerContext: не удалось создать /disk1/s3a 18/01/26 17:47:47 ПРЕДУПРЕЖДЕНИЕ fs.LocalDirAllocator$AllocatorPerContext: не удалось создать /disk2/s3a

Обратите внимание, хотя я получаю это предупреждение, файл все еще загружен:

$ hadoop fs -ls cos://xxxxx/LICENSE-2.0.txt

-rw-rw-rw- 1 clsadmin clsadmin 11358 2018-01-26 17:49 cos: //xxxxx/LICENSE-2.0.txt

Кажется, проблема в следующем:

$ grep -B2 -C1 'disk' /etc/hadoop/conf/core-site.xml
    <property>
      <name>fs.s3a.buffer.dir</name>
      <value>/disk1/s3a,/disk2/s3a,/tmp/s3a</value>
    </property>

$ ls -lh /disk1 /disk2
ls: cannot access /disk1: No such file or directory
ls: cannot access /disk2: No such file or directory

Каковы последствия этих предупреждений? Папка / tmp / s3a существует, поэтому можем ли мы игнорировать предупреждения об этих других папках?

Answer 1

Свойство hadoop 'fs.s3a.buffer.dir' поддерживает список (значения, разделенные запятыми) и указывает на локальный путь. Если путь отсутствует, предупреждения появляются, но их можно безопасно игнорировать, поскольку они безвредны. Если бы та же команда была выполнена изнутри узла данных, предупреждение не отобразилось бы. Независимо от предупреждения, файл будет копируется в Cloud Object Store, следовательно, не оказывает никакого другого влияния.

Идея иметь несколько значений для fs.s3a.buffer.dir в '/disk1/s3a,/disk2/s3a,/tmp/s3a' заключается в том, что когда задания hadoop запускаются в кластере с облачным хранилищем объектов, задачи уменьшения карты запланировано на узлах данных с дополнительными дисками viz /disk1 и / disk2, которые имеют большую емкость диска по сравнению с узлами управления.