Как запустить задания Tensorflow - Spark в Kubernetes с помощью оператора Spark?
Моя команда ищет способ запуска заданий Spark, использующих библиотеку Tensorflow в Kubernetes. Мы используем Spark Operator для идиоматического запуска Spark на Kubernetes.
Как мне создать пакет с заданием Spark (PySpark + TF) и заставить его работать с ресурсами Spark Operator k8s?
Я исследовал Horovod, глубокую среду обучения с открытым исходным кодом от Uber. Мы не используем GPU для обучения, и Horovod, кажется, больше подходит для этих операций, чем то, к чему мы стремимся.