Загрузить сценарий spark sql в работу AWS Glue
У меня есть много запросов Spark SQL к таблицам AWS Athena, сохраненным в виде текстовых файлов. Могу ли я загрузить эти текстовые файлы как строковую переменную и использовать их в качестве команды SQL dataframe в скрипте AWS Glue на кадрах данных, приведенных из динамических кадров? Предположим, я могу загрузить динамические кадры из таблиц Athena и зарегистрировать их соответствующие кадры данных в качестве временных представлений в Spark.
Это повторное использование сложных преобразований данных, разработанных в Spark SQL, в заданиях AWS Glue.