Используют ли ориентированные на SQL решения BI, такие как Looker и Chart.io, использование OLAP?
Я знаю, что OLAP используется в Power Pivot, насколько я знаю, для ускорения взаимодействия с данными.
Но я знаю, что базы данных больших данных, такие как Google BigQuery и Amazon RedShift, появились в последние несколько лет. Используют ли ориентированные на SQL решения BI, такие как Looker и Chart.io, использование OLAP или они полагаются на скорость работы баз данных?
2 ответа
Looker полагается на скорость базы данных, но моделирует данные, чтобы помочь в скорости. Режим и перископ похожи на это. Не уверен насчет Чартио.
OLAP использовался для организации данных, чтобы помочь в скорости запросов. Хотя они используются многими продуктами BI, такими как Power Pivot и Pentaho, некоторые компании разработали свои собственные способы организации данных, чтобы повысить скорость запросов. Иногда это включает хранение данных в их собственных структурах данных для организации данных. Многие облачные BI-компании, такие как Birst, Domo и Gooddata, делают это.
Looker создал язык моделирования под названием LookML для моделирования данных, хранящихся в хранилище данных. Поскольку базы данных теперь быстрее, чем они были при создании OLAP, Looker принял решение подключиться напрямую к хранилищу данных (Redshift, BigQuery, Snowflake, MySQL и т. Д.) Для запроса данных. Модель LookML позволяет пользователю взаимодействовать с данными, а затем выполнить запрос, чтобы получить результаты в виде таблицы или визуализации.
Это зависит от. У меня есть некоторый опыт работы с BI-решением (например, мы работали с Tableau), и он может работать в двух основных режимах: он может выполнять запрос к вашему серверу или может собирать соответствующие данные и сохранять их на компьютере пользователя (или на сервере, где установлено приложение). При работе с большими объемами мы использовали Tableau для запроса самого SQL Server, потому что наш компьютер с SQL Server очень силен по сравнению с другими нашими машинами.
В любом случае, даже если вы храните данные локально и хотите "обновить" их, при обновлении данных необходимо извлечь их из базы данных, что иногда также может быть дорогостоящей операцией (зависит от того, как ваши данные построены и организовано).
Вы также должны заметить, что вы сравниваете 2 разных семейства продуктов: хотя Google BigQuery и Amazon RedShift на самом деле являются механизмами баз данных, которые используются для хранения данных и их запросов, большинство решений для бизнес-аналитики и отчетности более ориентированы на запрос данных и их визуализацию. он и, следовательно, (вообще говоря) менее ориентирован на умные внутренние базы данных (по крайней мере, из моего опыта).