Как подавить информационные сообщения для команды hadoop fs

Question

Когда мы запускаем команду hadoop fs -get, мы видим все информационные сообщения. Как я могу подавить эти сообщения.

17/12/05 17:59:02 INFO s3n.S3NativeFileSystem: Opening 's3://testbucketzs/Manish/test1/data/csv-serde-1.1.2-0.11.0-all - Copy (796) - 

Answer 1

Если вы не хотите глобально изменять log4j.properties для всех процессов Hadoop, вы можете выполнить однократную команду для

export HADOOP_ROOT_LOGGER="WARN,DFRA"

Затем, следуя hdfs Команды в этом сеансе не будут выводиться INFO Сообщения.

Answer 2

Вам нужно изменить файл, как показано ниже:

$HADOOP_HOME/conf/log4j.propertiesВ этом файле замените следующую строку:

log4j.appender.EventCounter=org.apache.hadoop.log.EventCounter

с этой строкой:log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

Если вы не хотите делать это глобально, наведите stderr на черную дыру примерно так hdfs dfs -get /hdfs_path/ /local_path/ > 2>/dev/null

Еще одно предложение использования hdfs dfs -get вместо hadoop fs его не рекомендуется.

Эта ссылка имеет объяснение, если вы заинтересованы.