Доступны ли какие-либо сеансы для заданий AWS Glue?

Question

В моем рабочем процессе AWS Glue (определенном с помощью CloudFormation) у меня есть несколько заданий (pythonshell), которые имеют повторяющуюся логику для создания некоторых параметров, таких как одна и та же строка подключения к базе данных и т. Д. Также существует повторяющаяся логика через Boto3, например:

import boto3
sm_client = boto3.client(service_name='secretsmanager', region_name=region_name)
db_password = sm_client.get_secret_value(SecretId="MY_DB_PASSWORD")["SecretString"]

для получения относительного пароля БД.

Как уже говорилось, такая логика повторяется в нескольких работах. Есть ли сеанс сортировки или у вас есть идеи о хранении такой информации в нескольких заданиях для одного рабочего процесса?

Answer 1

Вы можете обмениваться информацией между заданиями Glue, используя свойства рабочего процесса, как определено на этом https://docs.aws.amazon.com/glue/latest/dg/workflow-run-properties-code.html

Но для конфиденциальной информации я бы предпочел использовать подключение к базе данных SecretManager или Glue.