Описание тега cascading
Каскадирование - это API запросов, планировщик запросов и планировщик процессов, используемые для определения и выполнения сложных, не масштабируемых и отказоустойчивых рабочих процессов обработки данных в кластере Hadoop.
Каскадирование - это тонкая библиотека Java, которая находится поверх слоя MapReduce Hadoop и выполняется из командной строки, как любое другое приложение Hadoop. Это не новый синтаксис запросов на основе текста (например, Pig) или другая сложная система, которую необходимо установить в кластере и поддерживать (например, Hive). Хотя каскадирование является дополнением к любому приложению и является допустимой альтернативой ему.
Каскадирование позволяет разработчику быстро собирать сложные распределенные приложения для обработки данных без необходимости "думать" в MapReduce. И эффективно планировать их на основе их зависимостей. Очевидно, что также поддерживаются простые приложения для обработки данных, поскольку сложные приложения обычно начинаются с простых.
Каскадирование является открытым исходным кодом и имеет двойную лицензию по GPL и OEM/ коммерческим лицензиям. OEM/ коммерческие лицензии и поддержку разработчиков можно получить через Concurrent, Inc.
Cascading имеет сильное сообщество пользователей и участников, см. Нашу страницу модулей Cascading, чтобы узнать о связанных проектах и расширениях.
Каскадирование, расширения и связанные библиотеки также размещены в репозитории Conjars maven, поддерживаемом Concurrent, Inc. Репозиторий открыт для всех.
Обзор каскадного стека приложений:
Ссылки: