Как подключить AWS Athena к существующему Hive Metastore
Мне нужно интегрировать сервис AWS Athena с существующим Hive Metastore (не с AWS Glue).
Подскажите, пожалуйста, как я могу подключить Афину к Hive Metastore.
2 ответа
Афина работает только со своим собственным метастазовым хранилищем или связанным с ним метастазами AWS Glue. Он не будет работать с внешним метастарем.
Однако вы можете настроить несколько таблиц или баз данных в одном и том же базовом хранилище S3. Таким образом, если вы записали данные в S3 с использованием внешнего метастаза, вы можете запросить эти файлы с помощью Athena после настройки соответствующей базы данных и определения таблицы в метастафе Athena.
Amazon Athena только что выпустила новую функцию (сейчас в предварительной версии), которая позволяет подключать Athena к вашему хранилищу Apache Hive Metastore. Вы можете увидеть анонс здесь. Подробные инструкции по добавлению коннектора Hive Metastore доступны в документации Athena.
Другой способ - экспортировать метаданные куста в файл с помощью команды.
command="hive -f "+ схема +"_tables.hql -S >> "+ схема +".output"
где схема = для экспорта и импорта определений таблиц в Афину, используя groovy в python.
Инструкции по настройке Groovy можно найти по ссылке