Кедро воздушный поток на искре
Ищу кедро + реализация обдува на искре. Доступен ли плагин для Spark?
Посмотрели на PipelineX, но не нашли подходящих примеров на Spark?
1 ответ
Я не подготовил и не видел примера использования Spark с PipelineX или Airflow, но должно быть возможно использовать kedro-airflow для запуска задач в Spark.
Следующий документ и видео от DataEngineerOne могут быть полезны.
https://kedro.readthedocs.io/en/stable/10_tools_integration/01_pyspark.html?highlight=Spark