Когда я настраиваю ловушку улья и создаю в улье таблицу, которая автоматически не добавляется в атлас и не отображается в сущности таблиц улья атласа
Я настроил Hive Hook для атласа в hive-site.xml следующим образом:
atlas.hook.hive.synchronous = true
hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook
atlas.cluster.name = dpf
Я использую Ambari для конфигурации
Созданы две темы кафки: ATLAS_ENTITIES а также ATLAS_HOOK
и когда я создал таблицу в улье, например:
create table br(full_name string, ssn string, location string);
и затем я запускаю эту команду:
/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_HOOK --from-beginning
Я вижу формат текста JSON для создания таблицы br, Это означает, что улей отправлять данные ATLAS_HOOK тема и работает правильно.
но когда я запускаю эту команду:
/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_ENTITIES --from-beginning
ничего не видел br Таблица.
Почему таблица не отображается в таблицах улья атласа? Что случилось?
обратите внимание:
Когда я вручную импортирую метаданные куста в атлас с помощью import-hive.sh, я вижу информацию о br таблица в двух темах кафка (ATLAS_ENTITIES, ATLAS_HOOK) а также br таблица появляется в атласе. Но автоматически это не работает