Перенести данные с S3 на FTP-сервер через поток с помощью Python

Question

Используя Python, я хочу скопировать файлы, соответствующие шаблону sample1с AWS S3 на FTP-сервер напрямую без каких-либо загрузок в локальное временное хранилище. Я попытался сделать следующее:

import s3fs
from ftplib import FTP_TLS

s3 = s3fs.S3FileSystem(anon=False)
pattern = 'sample1'
rest = [i for i in list if pattern in i]
rest

ftp = FTP_TLS("ftp.test.com")
ftp.login(user ='myUser', passwd = 'PassWrd')
ftp.cwd("box_dest")

for f in rest:
    print(f)
    with open(f, 'r') as fu:
        ftp.storbinary('STOR ' + f, fu)

Я собираюсь:

[u'test-bucket/abc/test/sample1.csv']
test-bucket/abc/test/sample1.csv
Traceback (most recent call last):
  File "<stdin>", line 3, in <module>
IOError: [Errno 2] No such file or directory: u'test-bucket/abc/test/sample1.csv'

Любые предложения о том, как я могу этого добиться? Благодарность!

Answer 1

Чтобы прочитать файл из S3, вам нужно использовать S3FileSystem.openне os.open.

И вам нужно извлечь только имя файла из исходного пути S3 при указании целевого пути FTP. posixpath.basename стоит сделать.

for f in rest:
    print(f)
    with s3.open(f, 'r') as fu:
        ftp.storbinary('STOR ' + posixpath.basename(f), fu)