Apache Nutch 2.3.1, увеличение памяти редуктора

Question

Я настроил кластер небольшого размера, если Hadoop с Hbase для Nutch 2.3.1, Версия hadoop - 2.7.7, а Hbase - 0.98. Я настроил задание hadoop, и теперь мне нужно установить память для задачи редуктора в классе драйверов. Я узнал, что в простых заданиях Hadoop MR вы можете использовать JobConf метод setMemoryForReducer, Но в Nutch нет доступных опций. В моем случае, в настоящее время память редуктора установлена ​​на 4 ГБ через mapred-site.xml (Конфигурация Hadoop). Но для Nutch я должен удвоить его.

Возможно ли это без изменения conf-файлов hadoop, либо через класс драйвера, либо через nutch-site.xml

Answer 1

Наконец-то я смог найти решение. NutchJob делает цель. Ниже приведен фрагмент кода

NutchJob job = NutchJob.getInstance(getConf(), "rankDomain-update");

int reducer_mem = 8192;
String memory = "-Xmx" + (int) (reducer_mem * 0.8)+ "m";
job.getConfiguration().setInt("mapreduce.reduce.memory.mb", reducer_mem);
job.getConfiguration().set("mapreduce.reduce.java.opts", memory );
// rest of code below