Hadoop несколько датододов на одной машине

Question

Я заинтересован в настройке нескольких узлов данных (скажем, 2) на одном компьютере с Linux.

Я провел некоторое исследование и следовал учебнику, но не работал.

Если кто-то может дать рабочий учебник или показать мне, как это сделать.

Спасибо

Answer 1

Вместо создания отдельных виртуальных машин вы можете запустить несколько экземпляров датоде на одном и том же узле. Единственное, что вам нужно, - это поддерживать разные конфигурации для каждого экземпляра datanode.

Необходимо указать разные порты для каждого демона датоде, переопределить следующие параметры в hdfs-site.xml:

dfs.datanode.address  0.0.0.0:50010  The datanode server address and port for data transfer.
dfs.datanode.http.address    0.0.0.0:50075  The datanode http server address and port.
dfs.datanode.ipc.address     0.0.0.0:50020  The datanode ipc server address and port.

Также необходимо поддерживать разные каталоги данных для каждого демона датоде, переопределить следующие параметры

dfs.datanode.data.dir