Как проверить балансировку нагрузки Apache Flume - Sink groups

Question

Я новичок в Apache Flume, я настроил одноуровневый агент с балансировкой нагрузки группы приемников вручную, я хотел бы знать, как я могу проверить балансировку нагрузки группы приемников? Любая идея, люди

Answer 1

Вы можете определить два различных приемника и упомянуть их в группах приемников, как показано ниже,

agent1.sinkgroups = g1
agent1.sinkgroups.g1.sinks = HDFS1 HDFS2
agent1.sinkgroups.g1.processor.type = load_balance
agent1.sinkgroups.g1.processor.backoff = true
agent1.sinkgroups.g1.processor.selector = round_robin

Здесь оба они являются приемниками HDFS.

Вы можете упомянуть селектор процесса (round_robin[по умолчанию], случайный или пользовательский селектор), который определяет, как следует распределять нагрузку между двумя приемниками.

Когда вы запустите агент, вы увидите, что два разных набора данных хранятся в двух соответствующих путях (приемниках) HDFS.

Два других необязательных параметра - это backoff и selector.maxTimeOut

Вы можете обратиться по этой ссылке для получения дополнительной информации. Руководство пользователя Flume 1.6.0