Что эквивалентно для Ozzie?
У нас очень сложные конвейеры, которые нам нужно составить и запланировать. Я вижу, что в экосистеме Hadoop есть Oozie для этого. Каковы варианты для заданий на основе Spark, когда я запускаю Spark на Mesos или Standalone и не имею кластера Hadoop?
2 ответа
В отличие от Hadoop, с Spark довольно просто связать вещи. Так что написание скрипта Spark Scala может быть достаточно. Моя первая рекомендация это завязывать.
Если вы хотите сохранить его как SQL, вы можете попробовать SparkSQL.
Если у вас действительно сложный поток, стоит посмотреть поток данных Google https://github.com/GoogleCloudPlatform/DataflowJavaSDK.
Oozie можно использовать в случае Yarn, для spark нет встроенного планировщика, поэтому вы можете выбрать любой планировщик, работающий в режиме кластера.
Для Mesos я считаю, что Chronos будет правильным выбором, больше информации о Chronos