Настроить линию данных для получения значений параметров из лямбды

Question

У меня есть лямбда-функция, которая активирует линию данных:

client.activate_pipeline(
    pipelineId='df-0680373LNPNFF73UDDD',
    parameterValues=[{'id':'myVariable','stringValue':'ok'}])

Как настроить конвейер данных для получения значения параметра при активации. Я хочу передать значение параметра "ОК" в ShellCommandActivity через аргумент скрипта, например.

Answer 1

В AWS Datapipeline Вы создаете параметры / переменные и определяете их использование во время определения конвейера.
Тогда значения параметров могут быть предоставлены одновременно put-pipeline-defintion или может быть отменено во время pipeline-activation,

Если параметр объявлен как myVariableвнутри объекта конвейера #{myVariable}

client.put_pipeline_definition(
        pipelineId='myPipeline',
        pipelineObjects=[
            {
                'id': 'CreateDirectory',
                "type" : "ShellCommandActivity",
                'name': 'CreateDirectory',
                'fields': [
                    {
                        'key': 'command',
                        'stringValue': 'mkdir #{myVariable}'
                    }
                ]
            }
        ],
        parameterObjects=[
            {
                'id': 'myVariable',
                'attributes': [
                    {
                        'key': 'description',
                        'stringValue': 'The directory to be created'
                    }
                ]
            }
        ],


client.activate_pipeline(
    pipelineId='df-0680373LNPNFF73UDDD',
    parameterValues=[{'id':'myVariable','stringValue':'ok'}])