Возможно ли задать размер блока hadoop 24 МБ?
Я просто хочу спросить ваше мнение о размере блока HDFS. Поэтому я установил размер блока HDFS на 24 МБ, и он может работать нормально. Я помню, что 24 МБ - это не экспоненциальное число (умножение на 2) для обычного размера на компьютере. Итак, я хочу спросить всех вас, что вы думаете о 24 МБ?
Спасибо всем....
1 ответ
Да. Можно установить размер блока HDFS равным 24 МБ. Hadoop 1.x.x по умолчанию 64 МБ и 2.x.x 128 МБ.
На мой взгляд увеличьте размер блока. Потому что, чем больше размер блока, тем меньше времени будет использовано на фазе редуктора. И все ускорится. Однако, если вы уменьшите размер блока, на каждом этапе карты будет затрачено меньше времени, но есть вероятность, что на этапе сокращения будет использовано больше времени. Тем самым увеличивается общее время.
Вы можете изменить размер блока с помощью приведенной ниже команды при переносе из локальной файловой системы в HDFS:
hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>
Постоянное изменение размера блока можно сделать, изменив hdfs-site.xml на следующий:
<property>
<name>dfs.block.size<name>
<value>134217728<value>
<description>Block size<description>
<property>
Да, можно установить размер блока в среде Hadoop. Просто перейдите на /usr/local/hadoop/conf/hdfs-site.xml и измените значение размера блока. См.: http://commandstech.com/blocksize-in-hadoop/