Атрибут не найден в AWS SAM databrew?
Я пытаюсь создать проверку качества данных для набора файлов в s3. Для этого я выбрал сбор данных AWS и создал набор данных, правила качества данных и задание профиля данных с помощью шаблона SAM. Здесь после создания набора данных я должен ссылаться на Arn набора данных при создании набора правил, а также на Arn набора правил для задания профиля. При проверке документации я вижу, что ARN не является частью выходных данных для набора данных и набора правил качества данных. Так можно ли динамически ссылаться на эти значения. Или я должен создавать наборы правил отдельно.
SampleDataSet:
Type: AWS::DataBrew::Dataset
Properties:
Name: SampleDataSet
Input:
S3InputDefinition:
Bucket: *****
Key: *****
SampleRuleSet:
Type: AWS::DataBrew::Ruleset
Properties:
Name: SampleRuleSet
Rules:
- Name: rule1
Disabled : true
CheckExpression: "AGG(DUPLICATE_ROWS_COUNT) <= :val1"
SubstitutionMap:
- Value: "0"
ValueReference: ":val1"
TargetArn: !GetAtt SampleDataSet.Arn
DependsOn: SampleDataSet
SampleProfileJob:
Type: AWS::DataBrew::Job
Properties:
Name: SampleProfileJob
Type: PROFILE
RoleArn: !GetAtt GenericDataBrewDataQualityRole.Arn
DatasetName: SampleDataSet
Timeout: 5
ValidationConfigurations:
- RulesetArn: !GetAtt SampleRuleSet.Arn
OutputLocation:
Bucket: *****
DependsOn: SampleRuleSet