Как сделать сложный запрос по большим данным?
Каждый. У меня есть некоторые данные о 6G в hdfs, которые были экспортированы из mysql. И у меня есть запись mapreduces для предварительной обработки данных, чтобы заполнить какое-то ключевое поле, чтобы данные можно было легко запрашивать. Поскольку бизнес-требования различаются, данные агрегации группируются по дням, часам, больницам, районам и т. Д., Поэтому мне нужно написать много SQL-файлов кустов, экспортирующих данные на локальный диск, а затем я пишу скрипт на python для анализа файлов на локальном диске, а затем получаю данные потребность.
Есть ли какая-то хорошая техника на hadoop, чтобы удовлетворить мое требование. Я обдумываю. Не могли бы вы мне помочь.