Как экспортировать файл данных SnowFlake S3 в мой AWS S3?

Question

Данные Snowflake S3 находятся в.txt.bz2, мне нужно экспортировать файлы данных, присутствующие в этом SnowFlake S3, в мой AWS S3, экспортированные результаты должны быть в том же формате, что и в исходной папке. Вот что я пробовал.

---

COPY INTO @mystage/folder from (select $1||'|'||$2||'|'|| $3||'|'|| $4||'|'|| $5||'|'||$6||'|'|| $7||'|'|| $8||'|'|| $9||'|'|| $10||'|'|| $11||'|'|| $12||'|'|| $13||'|'|| $14||'|'||$15||'|'|| $16||'|'|| $17||'|'||$18||'|'||$19||'|'|| $20||'|'|| $21||'|'|| $22||'|'|| $23||'|'|| $24||'|'|| $25||'|'||26||'|'|| $27||'|'|| $28||'|'|| $29||'|'|| $30||'|'|| $31||'|'|| $32||'|'|| $33||'|'|| $34||'|'|| $35||'|'|| $36||'|'|| $37||'|'|| $38||'|'|| $39||'|'|| $40||'|'|| $41||'|'|| $42||'|'|| $43 from @databasename) CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****' ) file_format=(TYPE='CSV' COMPRESSION='BZ2'); PATTERN='*/*.txt.bz2

---

Answer 1

Сейчас Snowflake не поддерживает экспорт данных в файл в формате bz2.

Я предлагаю установить COMPRESSION='gzip', тогда вы можете экспортировать данные на свой S3 в gzip.

Если экспорт файла в bz2 имеет для вас высокий приоритет, обратитесь в службу поддержки Snowflake.

Если вы хотите выгрузить файл bz2 со сцены Snowflake на свой собственный S3, вы можете сделать что-то вроде этого.

COPY INTO @myS3stage/folder from 
  (select $1||'|'||$2||'|'||  $3||'|'||   $4||'|'||   $5||'|'||$6||'|'||  $7||'|'||   $8||'|'|| $9||'|'|| $10||'|'||   $11||'|'||   $12||'|'||    $13||'|'||  $14||'|'||$15||'|'||    $16||'|'||  $17||'|'||$18||'|'||$19||'|'||  $20||'|'||  $21||'|'||  $22||'|'||  $23||'|'||  $24||'|'|| $25||'|'||26||'|'||  $27||'|'||  $28||'|'||  $29||'|'||  $30||'|'||  $31||'|'||  $32||'|'||  $33||'|'||  $34||'|'||  $35||'|'||  $36||'|'||  $37||'|'||  $38||'|'||    $39||'|'||    $40||'|'||  $41||'|'||  $42||'|'|| $43 
   from @snowflakeStage(PATTERN => '*/*.txt.bz2'))
CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****' )
file_format=(TYPE='CSV');