Как мы можем загрузить около 800 МБ данных из URL-адреса запроса и записать в файл за считанные минуты, используя python?

Я экспортирую большой набор данных из конечной точки «/export» powerpi? Для загрузки и записи в файл .pbix размером около 800 МБ требуется более 5 часов. Как мы можем уменьшить его, например, за считанные минуты?

      with requests.get(url, headers=headers, params=params, stream=True) as response:
        response.raise_for_status()
        with open(pbix_fileName, 'wb') as report_file:
            for chunk in response.iter_content(chunk_size=1024 * 8):  # 1MB chunks 
                if chunk:
                    report_file.write(chunk)
                    report_file.flush()
                    os.fsync(report_file.fileno())
            print("success!")

0 ответов

Другие вопросы по тегам