AWS Glue crawler - типы ключей перегородок
Я использую Spark для записи файлов в S3 в формате ORC. Также используя Athena для запроса этих данных.
Я использую следующие ключи раздела:
s3://bucket/company=1123/date=20190207
Как только я запускаю сканер Glue, чтобы запустить его, все работает, как и ожидалось, за исключением типов ключей разделов.
Crawler настраивает их в каталоге как String тип вместо int
Существует ли конфигурация для определения типа ключей раздела по умолчанию?
Я знаю, что это можно изменить вручную позже и установить конфигурацию Crawler на Add new columns only.
0 ответов
Искатели клея всегда обрабатывают ключи разделов как строку типа, и, к сожалению, нет возможности настройки для изменения этого поведения.