Как сгладить файл json, содержащий структуры и массивы в одном файле, с помощью AWS Glue
Раньше я работал с Azure, но я очень новичок в AWS. У меня похожая ситуация с . У меня есть много файлов json в корзине S3, а в файлах есть структуры и массивы. Мне нужно сгладить их обоих и снова оставить S3. В конце дня мне нужно загрузить данные из S3 в Snowflake.
На данный момент я использовал AWS Glue Crawler, и он может распознавать структуру моих файлов json. Но я не мог найти решение для одновременного выравнивания структур и массивов. Прошел год после последнего комментария по этим вопросомвопросу , которым я поделился, возможно, есть новая функция, которую я могу использовать и легко решить свою ситуацию. Любая помощь/комментарий будет удивительным. Спасибо.
Я создал структуру файлов json с помощью AWS Glue Crawler. Я пытался сгладить с помощью AWS Glue DataBrew, но он плохо работает с большими файлами. Было бы здорово, если бы это работало.