Сделать OLAP с Hadoop Hive из OLTP Mysql

Я немного путаюсь с ульем Hadoop, который я прочитал из вики, использованной для создания OLAP. Теперь я хочу сделать OLAP на Hive из базы данных OLTP, которые используют Mysql.

Как я могу решить это? Могу ли я использовать чайник для изготовления OLAP в Hive? Любое руководство, как сделать OLAP на Hive из OLTP MySQL?

Tks.

Источник

1 ответ

Я бы предложил следующий подход:
а) Чтобы указать часть истории вашего процесса OLTP. Обычно это какие-то журналы над операциями. Давайте назовем это таблицей фактов.
б) иметь таблицу фактов для разделения по времени
c) Периодически выгружать самый старый раздел из MySQL, экспортируя его в CSV и удаляя из MySQL.
д) Загрузите этот CSV-файл в Hive

Внедрив эту схему, вы получите все данные, кроме последних, в улье и предотвратите рост базы данных MySQL OLTP.

Источник
Другие вопросы по тегам