Различия между matillion и apache airflow

Question

Я хочу использовать службу ETL, но я застрял между Apache Airflow и Matillion.

• Они одинаковы?
• Какие основные отличия?

Answer 1

Основным вариантом использования Airflow является оркестровка / планирование, а не ETL. Вы можете выполнять задачи ETL внутри Airflow DAG, но если вы не планируете внедрять Airflow с использованием контейнерной архитектуры / K8, вы быстро заметите узкие места производительности и даже зависшие / зависшие процессы. Конечно, есть способы смягчить это, но это не основной вариант использования.

Основным вариантом использования Matillion является ETL (на самом деле ELT), поэтому он не будет страдать от тех же проблем с производительностью или потребовать сложной инфраструктуры для достижения такой производительности. Он также предоставляет необязательный для кода интерфейс на основе графического пользовательского интерфейса, поэтому вам не нужно быть экспертом по Python, чтобы быстро достичь результатов.

Я действительно считаю Airflow и Matillion дополнительными (потенциально). Например, если у вас есть зависимости между приложениями, вы можете организовать рабочий процесс Matillion с помощью Airflow или другого стороннего планировщика и получить преимущества обоих.

Answer 2

Я никогда не использовал Матиллион. Поэтому я не могу ответить в отношении какого-либо конкретного варианта использования, который у вас есть.

Но с помощью быстрого анализа Matillion я могу сказать, что Matillion и Airflow - это совсем не одно и то же.

Matillion - это инструмент извлечения / преобразования / загрузки. Вы можете сравнить его с такими инструментами, как AWS Glue / Apache NiFi / DMExpress.

Airflow - это инструмент оркестровки. Вы можете сравнить это с такими инструментами, как oozie.

Что еще более важно, Matillion не является бесплатным.