Получение исторических данных в Fi ware с помощью Cosmos

Question

Я пытаюсь получить всю историческую информацию о датчике Fi Ware. Я видел, что Орион использует Лебедя для хранения историй в Космосе. Доступна ли эта информация или можно использовать только IDAS для ее получения?

Где я могу получить больше информации об этом?

Answer 1

Способ, которым вы можете использовать данные, в поэтапном подходе с точки зрения кривой обучения:

1. Работая с необработанными данными, либо "локально" (т.е. входя в головной узел кластера) с помощью команд Hadoop, либо "удаленно" с помощью API-интерфейса REST WebHDFS/HttpFS. Обратите внимание, что в рамках этого подхода вы должны реализовать любую логику анализа, которая вам необходима, поскольку Cosmos позволяет вам управлять, как уже говорилось, необработанными данными.

2. Работа с Hive для запроса данных в SQL-подобном подходе. Опять же, вы можете сделать это локально, вызвав CLI Hive, или удаленно, реализовав свой собственный клиент Hive в Java (есть некоторые другие языки) с использованием библиотек Hive.

3. Работа с MapReduce (MR) для проведения сильного анализа. Для этого вам нужно создать собственное приложение на основе MR (обычно на Java) и запустить его локально. Как только вы закончите локальный запуск приложения MR, вы можете использовать Oozie, который позволяет вам запускать такие приложения MR удаленно.

Мой совет: вы начинаете с Hive (шаг 1 прост, но не предоставляет никаких возможностей для анализа), сначала локально пытаясь выполнить некоторые запросы Hive, а затем удаленно внедряя свой собственный клиент. Если такого анализа вам недостаточно, перейдите в MapReduce и Oozie.

Всю документацию по Космосу можно найти в каталоге инструментов FI-WARE. В этой документации я бы выделил:

• Быстрый старт для программистов.
• Руководство пользователя и программиста (функциональность, описанная в разделах 2.1 и 2.2, в настоящее время недоступна в FI-LAB).