Преобразование Teradata Bteq в искру
У нас есть таблицы в сценариях Teradata и Bteq, которые выполняются в пакетном режиме. Теперь нам нужно преобразовать их в Spark SQL, и данные будут сохранены в Hive. Нам необходимо преобразовать сценарии Bteq для запуска.
Все запросы могут быть преобразованы в sparksql с помощью HiveContext, но я хотел бы знать, как я могу реализовать другие функции, которые предлагает Bteq, такие как условная обработка, обработка ошибок и т. Д.
Я думал об использовании Scala и встраивании запросов sql spark. Существует также возможность использования HPL/SQL с использованием spark sql. Какие-либо входные данные относительно того, который был бы лучшим вариантом?