Обработка отсутствующих столбцов в AWS Databrew и данных с другой схемой
У меня есть проект AWS databrew, который я хочу использовать для преобразования двух разных схем данных json.
Из того, что я обнаружил, нет функции рецепта, которая обрабатывает отсутствующие столбцы данных (только отсутствующие значения внутри существующего столбца). См. здесь список шагов рецепта databrew.
Я попытался создать свой собственный обходной путь, объединив свой набор данных json (набор данных1) с другим набором данных json (набор данных2, созданный только для этой цели), в котором есть отсутствующие столбцы. Но это не удается, потому что набор данных1 имеет две разные схемы, а жестко закодированные поля в соединении приводят к сбою шага рецепта.
Есть ли способ внутри AWS Databrew обрабатывать отсутствующие столбцы и разные схемы?