Активировать значение параметра передачи данных Dipapipeline

Question

Полная картина: в Datapipeline есть процесс ETL, и нам нужно, чтобы пользователи обновляли некоторые itens по требованию, но мы не можем обновить всю базу данных, потому что это дорого.

Первоначально предлагаемое решение заключается в запуске AWS DataPipeline через API. Можно ли активировать конвейер с каким-либо параметром?

API и конвейер уже существуют, так что это будет решение с меньшими усилиями. В любом случае, если у вас есть предложение по этому делу, я бы оценил.

Спасибо с уважением!

Answer 1

Вы можете передать значения параметров конвейеру при его активации. Например, из документации Ruby SDK для метода activate_pipeline:

resp = client.activate_pipeline({
  pipeline_id: "id", # required
  parameter_values: [
    {
      id: "fieldNameString", # required
      string_value: "fieldStringValue", # required
    },
  ],
  start_timestamp: Time.now,
})

Значения, отправленные таким образом, переопределят значения, определенные при создании конвейера.

Итак, если в вашем конвейере есть параметр с именем my_last_update_time вы можете указать его значение в parameter_valuesаргумент, и таким образом он может отличаться каждый раз, когда вы запускаете конвейер. CLI и Java SDK имеют одинаковый механизм.