Ambari BigInsights Kafka не запускается

Question

Что ж, похоже, я решил мою первую проблему с изображением BigInsights, не серьезную проблему, а о чем подумать. На моей странице служб браузера Ambari показывалось, что служба Kafka не запущена, я несколько раз пытался перезапустить ее, но, похоже, она постоянно терпела неудачу. Так что я решил, что лучше посмотреть на это немного дальше. В этом случае проблема была на главном сервере Ambari, на котором работает большинство служб. Итак, первый призыв к действию состоит в том, чтобы увидеть, может быть, Амбари и не правильно делает вызов:

[root@master ~]# kafka
Usage: /usr/bin/kafka {start|stop|status|clean}
[root@master ~]# kafka status
Kafka is not running.
[root@master ~]# kafka start
Starting Kafka succeeded with PID=15815.
[root@master ~]# kafka status
Kafka is not running.

Затем я устал от чистого начала, не то чтобы я думал, что это будет иметь большое значение, но, возможно, была проблема с журналами, не позволяющими перезапустить его:

[root@master ~]# kafka clean
Removed the Kafka PID file: /var/run/kafka/kafka.pid.
Removed the Kafka OUT file: /var/log/kafka/kafka.out.
Removed the Kafka ERR file: /var/log/kafka/kafka.err.
[root@master ~]# kafka status
Kafka is not running. No pid file found.
[root@master ~]# kafka start
Starting Kafka succeeded with PID=15875.
[root@master-01 ~]# kafka status
Kafka is not running.

Answer 1

Итак, давайте внимательно посмотрим на журналы:

[root@master ~]# ls -ltr /var/log/kafka/
-<cut>-
-rw-r--r-- 1 kafka hadoop  6588 Aug 11 13:55 controller.log.2015-08-11-13
-rw-r--r-- 1 kafka hadoop  6000 Aug 11 13:59 server.log.2015-08-11-13
-rw-r--r-- 1 kafka hadoop  6588 Aug 11 14:55 controller.log
-rw-r--r-- 1 kafka hadoop  5700 Aug 11 14:56 server.log
-rw-r--r-- 1 root  root     284 Aug 11 15:09 kafka.err
-rw-r--r-- 1 root  root     522 Aug 11 15:09 kafka.out
-rw-r--r-- 1 kafka hadoop   707 Aug 11 15:09 kafkaServer-gc.log

Давайте посмотрим на ошибки и файлы:

[root@master ~]# cat /var/log/kafka/kafka.err
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
[root@master ~]# cat /var/log/kafka/kafka.out
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /root/hs_err_pid15875.log
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /root/hs_err_pid16305.log

Ах, это странно, поскольку я попросил не менее 4 ГБ памяти для своих виртуальных машин, давайте проверим:

[root@master ~]# cat /proc/meminfo
MemTotal:        1922260 kB
MemFree:          278404 kB
Buffers:            8600 kB
Cached:            43384 kB

Лучше всего выделять больше памяти! Как правило, минимум, с которым вы должны установить BigInsights, как рекомендовано на страницах поддержки IBM, составляет 8 ГБ, так что это скорее дает представление о том, почему. По крайней мере, 2 ГБ - это только для запуска установленных служб в системе, даже до того, как вы начнете загружать БД и выполнять запросы.