В чем разница между данными Apache Hive и Aster с точки зрения аналитических функций?
Я столкнулся с чем-то, что показывало, что вы можете писать аналитические функции в Hive.
Например: для примера с подсчетом слов мы также можем писать в улье. разница будет в том, что в данных Aster они уже встроены, а в улье мы должны их записать.
Какая будет разница? зачем идти на что?
2 ответа
Существует хорошее научное исследование, основанное на лабораторном исследовании, в котором сравнивается время на разработку и выполнение аналитических функций как в платформе обнаружения Teradata Aster, так и в Hadoop/Hive. Системы запускались бок о бок, чтобы показать, какие рабочие нагрузки подходят для каждой системы. Есть хороший рабочий пример "дня в жизни" аналитика и требуемого времени / усилий (раскрытие: я работаю для Teradata, которая приобрела данные Aster 2 года назад) http://www.asterdata.com/resources/assets/ESG-Lab-Validation-Teradata-Aster-MapReduce-Platform.pdf
Теоретически, да, Hive должен иметь возможность делать все то же самое, что и функциональный Java-код, и каркас сокращения карт. Я не являюсь пользователем Hadoop/Hive, но, насколько я понимаю, Hive - это слой поверх Hadoop, и все, что делает Hive (включая аналитические расширения, написанные на Java), будет преобразовано в задания Hadoop. Возможно, вы захотите задать Hive-направленный вопрос о том, как / что нужно для этого сделать.
Напротив, Aster SQL/MR является родным для базы данных Aster. Под нативным я подразумеваю, что Java работает в каждом узле Aster как часть инфраструктуры Aster SQL / MR, которая, в свою очередь, является неотъемлемой частью ядра базы данных Aster. Все манипуляции с данными будут согласованы с моделью данных, ключами распределения данных и т. Д. В Aster, при использовании своих функций SQL / MR (включая Java), пользователь никогда не покидает помещения SQL и модели данных. В то же время SQL / MR полиморфен определениям таблиц, адаптирующимся для произвольных моделей (все в рамках Aster SQL). Может быть, вы хотите исследовать, как это будет работать в Улей.
Еще один момент, который стоит отметить, - это то, что Aster предлагает богатый набор аналитических функций высокого уровня из коробки, так что написание пользовательских Java SQL/MR может не потребоваться. Таким образом, пример подсчета слов может быть выполнен с использованием nGram функциональный и совокупный SQL.