Планировщик для заданий, выполняющих Apache Spark SQL в Bluemix
Я использую Apache Spark в Bluemix. Я хочу реализовать планировщик для заданий sparksql. Я видел эту ссылку на блог, который описывает планирование. Но не ясно, как мне обновить манифест. Может быть, есть какой-то другой способ составить график моей работы.
1 ответ
Файл манифеста предназначен для руководства развертыванием приложений облачного литейного производства (cf). Так что в вашем случае звучит так, будто вы хотите развернуть свое приложение cf, которое действует как планировщик SparkSQL, и использовать файл манифеста, чтобы объявить, что вашему приложению не нужны какие-либо средства маршрутизации веб-приложений или что-либо еще для приложений, ориентированных на пользователя потому что вы просто хотите запустить фоновый планировщик. Это все хорошо, и cf docs поможет вам сделать это.
Однако вы не можете запустить планировщик SparkSQL для службы Bluemix Spark сегодня, потому что она поддерживает записные книжки Jupyter только через раздел Data-Analytics в Bluemix; т.е. только пользовательский интерфейс ноутбука. Вам нужен Spark API, который вы могли бы использовать в своем приложении планировщика cf; например, тип типа spark-submit, где вы можете создать свой контекст Spark и затем запускать программы, такие как SparkSQL, о котором вы упомянули. Предполагается, что этот API поступит в сервис Apache Spark Bluemix.
ОБНОВИТЬ: spark-submit был доступен где-то в конце 1К16. Это скрипт оболочки, но внутри он делает вызовы REST через curl, REST API пока не поддерживается, но вы можете либо вызвать скрипт в своем планировщике, либо рискнуть напрямую вызывать REST API и надеяться, что он не изменится и не сломит вас.