Какая технология NoSQL может заменить кубы MOLAP для мгновенных запросов?
Мне было интересно, если бы вы могли сказать мне, какую базу данных NoSQL или технологии / инструменты я должен использовать для моего сценария. Мы рассчитываем заменить наши кубы OLAP, основанные на службах аналитики SQL-сервера, технологией с открытым исходным кодом, поскольку данные становятся слишком большими для управления, а запросы возвращаются слишком долго. Мы следовали всем правилам в книге, чтобы защитить данные, оптимизировать структуру куба с помощью агрегатов, разделов и т. Д., И все же некоторые из наших отдельных запросов на подсчет занимают 1-2 минуты:(Размер данных нашей таблицы фактов примерно равен 250 Гб. И есть 10-12 измерений, связанных в форме звезды.
Поэтому мы решили попробовать технологии с открытым исходным кодом, такие как Hadoop/HBase/NoSQL dbs, посмотреть, смогут ли они решить наши сценарии OLAP с минимальными настройками и подключением.
Наши основные требования к новой технологии:
Он должен получить блестящие быстрые или мгновенные результаты для различных запросов количества ( < 2 секунд)
Поддерживает концепцию мер и измерений (как в OLAP).
- Поддержка SQL, как язык запросов, так как многие наши разработчики являются экспертами по SQL.
- Возможность подключения Excel/Tableau для визуализации данных.
Поскольку в мире открытого исходного кода сегодня так много новых технологий и инструментов, я надеялся, что вы поможете мне указать верное направление.
2 ответа
Примечания: я из команды Apache Kylin.
Пожалуйста, обратитесь к ответам ниже, которые могут принести вам некоторую идею:
Наши основные требования к новой технологии: быстрые или мгновенные результаты для различных запросов ( < 2 секунд).
- Luke: наша текущая статистика - это 90% задержки запроса меньше 5 с. Сколько данных у вас будет для < 2 s по разным подсчетам? Приблизительный результат в порядке?
Поддерживает концепцию мер и измерений (как в OLAP).
--Luke: Kylin - это чистый движок OLAP, который имеет определение измерения (также поддерживает иерархию) и измерение (Sum/Count/Min/Max/Avg/DistinctCount).
Поддержка SQL, как язык запросов, так как многие наши разработчики являются экспертами по SQL.--Luke: Kylin поддерживает интерфейс ANSI SQL (большинство функций SELECT)
Возможность подключения Excel/Tableau для визуализации данных.
- Люк: Kylin имеет ODBC Driver, он очень хорошо работает с Tableau, скоро появится Excel/PowerBI.
Пожалуйста, дайте нам знать, если у вас есть еще вопросы.
Благодарю.
Похоже, "Kylin" http://www.kylin.io/ - мой ответ. Здесь есть все требования, которые я хотел и даже больше. Я сейчас попробую!:)