Могу ли я конвертировать CSV-файлы из Amazon S3 в формат Parquet, используя Athena и не используя Amazon EMR

Я хотел бы преобразовать файлы данных csv, которые сейчас находятся на Amazon S3, в формат Parquet с помощью Amazon Athena и перенести их обратно в Amazon S3 без помощи Amazon EMR. Возможно ли это сделать? Кто-нибудь испытывал нечто подобное?

Источник

1 ответ

Amazon Athena может запрашивать данные, но не может конвертировать форматы данных.

Вы можете использовать Amazon EMR для преобразования в форматы столбцов. Шаги:

  • Создать внешнюю таблицу, указывающую на исходные данные
  • Создайте внешнюю таблицу назначения с STORED AS PARQUET
  • INSERT OVERWRITE <destination_table> SELECT * FROM <source_table>
Источник
Другие вопросы по тегам