Как мы можем загрузить около 800 МБ данных из URL-адреса запроса и записать в файл за считанные минуты, используя python?
Я экспортирую большой набор данных из конечной точки «/export» powerpi? Для загрузки и записи в файл .pbix размером около 800 МБ требуется более 5 часов. Как мы можем уменьшить его, например, за считанные минуты?
with requests.get(url, headers=headers, params=params, stream=True) as response:
response.raise_for_status()
with open(pbix_fileName, 'wb') as report_file:
for chunk in response.iter_content(chunk_size=1024 * 8): # 1MB chunks
if chunk:
report_file.write(chunk)
report_file.flush()
os.fsync(report_file.fileno())
print("success!")