S3FileSystem Проблема при загрузке CSV в S3, он добавляет пустые строки между идентификаторами

Question

Итак, у меня есть сценарий, который загружает файл CSV в корзину S3.

s3 = s3fs.S3FileSystem(key='YOUR_KEY', secret='YOUR_SECRET_KEY',anon=False)
df = pd.read_csv(r'C:\Users\Desktop\FILES\test.csv')
with s3.open('s3://billing/billing_data/test.csv','w') as f:
    df.to_csv(f, compression='gzip',index=False)

содержимое файла csv до его загрузки следующее:

 id  city    province    status
----  ------  ----------  --------
   1  a       b           success
   2  a       b           success
   3  a       b           success
   4  a       b           success

но кажется, что он загружается так:

     id  city    province    status
    ----  ------  ----------  --------
     
    1  a       b           success
     
    2  a       b           success
       
    3  a       b           success
      
    4  a       b           success

Да, вы все правильно поняли. После загрузки в корзину S3 CSV получил 1 пустую строку для каждого идентификатора. Вот почему, когда я выполняю команду COPY, я получаю сообщение об ошибке, когда он пытается прочитать эти пустые строки.

Может ли кто-нибудь подсказать, что не так с моим кодом или как удалить такие строки.

Спасибо!