Программный поиск имен полей и типов данных AWS Glue Dynamic Frame

Question

Новое в PySpark и AWS Glue. Мне нужно получить имена полей и типы данных, чтобы использовать их в программе. Я мог бы напечатать результаты DynamicFrame.schema(), которые выглядят как JSON-подобная структура. Я попытался json.loads, чтобы увидеть, можно ли преобразовать структуру в словарь Python, чтобы я мог перебрать ее, но получил эту ошибку - TypeError: ожидаемая строка или буфер ------------------------------*

В документации AWS Glue не указывается тип возвращаемой схемы (). Спасибо.

Answer 1

Ты можешь использовать DynamicFrame.schema().field_map получить словарь всех полей и их типов:

 {'field_map': 
   {'PersonId': Field(PersonId, IntegerType({}), {}),
    'ChangeId': Field(ChangeId, LongType({}), {}),
    'CreateDate': Field(CreateDate, TimestampType({}), {}),)},
 'fields': 
    [Field(PersonId, IntegerType({}), {}),
    Field(ChangeId, LongType({}), {}),
    Field(CreateDate, TimestampType({}), {})],
    'properties'