Ленивый метод чтения больших файлов в Python?
У меня очень большой файл 4 ГБ, и когда я пытаюсь прочитать его, мой компьютер зависает. Поэтому я хочу прочитать его по частям, и после обработки каждого куска сохранить обработанный фрагмент в другой файл и прочитать следующий фрагмент.
Есть ли способ yield эти штуки?
Я хотел бы иметь ленивый метод.
14 ответов
Чтобы написать ленивую функцию, просто используйте yield:
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
f = open('really_big_file.dat')
for piece in read_in_chunks(f):
process_data(piece)
Другой вариант будет использовать iter и вспомогательная функция:
f = open('really_big_file.dat')
def read1k():
return f.read(1024)
for piece in iter(read1k, ''):
process_data(piece)
Если файл основан на строках, объект файла уже является ленивым генератором строк:
for line in open('really_big_file.dat'):
process_data(line)
file.readlines() принимает необязательный аргумент размера, который приблизительно соответствует количеству строк, прочитанных в возвращаемых строках.
bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
process([line for line in tmp_lines])
tmp_lines = bigfile.readlines(BUF_SIZE)
Уже есть много хороших ответов, но недавно я столкнулся с подобной проблемой, и нужного мне решения здесь нет в списке, поэтому я решил, что могу дополнить эту тему.
80% времени мне нужно читать файлы построчно. Затем, как предлагается в этом ответе, вы хотите использовать сам объект файла в качестве ленивого генератора:
with open('big.csv') as f:
for line in f:
process(line)
Однако недавно я столкнулся с очень очень большой (почти) однострочной CSV, где разделитель строк фактически не '\n' но '|',
- Чтение построчно не было вариантом, но мне все еще нужно было обрабатывать его построчно.
- преобразование
'|'в'\n'до обработки также не могло быть и речи, потому что некоторые поля этого csv содержали'\n'(свободный ввод текста пользователем). - Использование библиотеки csv также было исключено из-за того факта, что, по крайней мере в ранних версиях библиотеки, она жестко кодируется для чтения входных данных построчно.
Я придумал следующий фрагмент:
def rows(f, chunksize=1024, sep='|'):
"""
Read a file where the row separator is '|' lazily.
Usage:
>>> with open('big.csv') as f:
>>> for r in rows(f):
>>> process(row)
"""
incomplete_row = None
while True:
chunk = f.read(chunksize)
if not chunk: # End of file
if incomplete_row is not None:
yield incomplete_row
break
# Split the chunk as long as possible
while True:
i = chunk.find(sep)
if i == -1:
break
# If there is an incomplete row waiting to be yielded,
# prepend it and set it back to None
if incomplete_row is not None:
yield incomplete_row + chunk[:i]
incomplete_row = None
else:
yield chunk[:i]
chunk = chunk[i+1:]
# If the chunk contained no separator, it needs to be appended to
# the current incomplete row.
if incomplete_row is not None:
incomplete_row += chunk
else:
incomplete_row = chunk
Я успешно проверил его на больших файлах и с разными размерами блоков (я даже пробовал размер фрагмента в 1 байт, просто чтобы убедиться, что алгоритм не зависит от размера).
Если ваш компьютер, операционная система и python 64-разрядные, вы можете использовать модуль mmap для отображения содержимого файла в память и доступа к нему с помощью индексов и фрагментов. Вот пример из документации:
import mmap
with open("hello.txt", "r+") as f:
# memory-map the file, size 0 means whole file
map = mmap.mmap(f.fileno(), 0)
# read content via standard file methods
print map.readline() # prints "Hello Python!"
# read content via slice notation
print map[:5] # prints "Hello"
# update content using slice notation;
# note that new content must have same size
map[6:] = " world!\n"
# ... and read again using standard file methods
map.seek(0)
print map.readline() # prints "Hello world!"
# close the map
map.close()
Если ваш компьютер, ОС или python 32-битные, то большие файлы mmap могут зарезервировать большие части вашего адресного пространства и истощить вашу программу памяти.
Взгляните на этот пост на Neopythonic: "Сортировка миллиона 32-разрядных целых чисел в 2 МБ ОЗУ с использованием Python"
В Python 3.8+ вы можете использовать .read() в while цикл:
with open("somefile.txt") as f:
while chunk := f.read(8192):
do_something(chunk)
Конечно, вы можете использовать любой размер блока, вам не обязательно использовать 8192 (2**13) байтов. Если размер вашего файла не кратен размеру вашего фрагмента, последний фрагмент будет меньше размера вашего фрагмента.
f = ... # file-like object, i.e. supporting read(size) function and
# returning empty string '' when there is nothing to read
def chunked(file, chunk_size):
return iter(lambda: file.read(chunk_size), '')
for data in chunked(f, 65536):
# process the data
ОБНОВЛЕНИЕ: подход лучше всего объяснить в /questions/24761273/iterator-fajla-python-nad-dvoichnyim-fajlom-s-bolee-novoj-idiomoj/24761291#24761291
Обратитесь к официальной документации python https://docs.python.org/3/library/functions.html
Возможно, этот метод более питонический:
from functools import partial
"""A file object returned by open() is a iterator with
read method which could specify current read's block size"""
with open('mydata.db', 'r') as f_in:
part_read = partial(f_in.read, 1024*1024)
iterator = iter(part_read, b'')
for index, block in enumerate(iterator, start=1):
block = process_block(block) # process your block data
with open(f'{index}.txt', 'w') as f_out:
f_out.write(block)
Я думаю, что мы можем написать так:
def read_file(path, block_size=1024):
with open(path, 'rb') as f:
while True:
piece = f.read(block_size)
if piece:
yield piece
else:
return
for piece in read_file(path):
process_piece(piece)
Мне не разрешено комментировать из-за моей низкой репутации, но решение SilentGhosts должно быть намного проще с file.readlines([sizehint])
редактировать: SilentGhost правильно, но это должно быть лучше, чем:
s = ""
for i in xrange(100):
s += file.next()
Я в несколько похожей ситуации. Не ясно, знаете ли вы размер куска в байтах; Обычно я этого не делаю, но количество требуемых записей (строк) известно:
def get_line():
with open('4gb_file') as file:
for i in file:
yield i
lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]
Обновление: спасибо, носкло. Вот что я имел в виду. Это почти работает, за исключением того, что он теряет грань между кусками.
chunk = [next(gen) for i in range(lines_required)]
Делает трюк без потери каких-либо линий, но выглядит не очень хорошо.
Чтобы обрабатывать построчно, это элегантное решение:
def stream_lines(file_name):
file = open(file_name)
while True:
line = file.readline()
if not line:
file.close()
break
yield line
Пока нет пустых строк.
Обновление:- Вы также можете использовать file_object.readlines, если хотите, чтобы фрагмент давал вам результаты в виде полной строки, что означает, что в результате не будет незавершенных строк.
например :-
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.readlines(chunk_size)
if not data:
break
yield data
-- Дополнение к данному ответу --
Когда я читал файл по частям, давайте предположим, что это текстовый файл с именем split.txt , проблема , с которой я столкнулся при чтении по частям, заключалась в том, что у меня был вариант использования, когда я обрабатывал данные строка за строкой, и только потому, что текстовый файл я читал по частям, он (фрагмент файла) иногда заканчивался частичными строками, которые в конечном итоге нарушали мой код(поскольку он ожидал, что будет обработана вся строка)
поэтому, прочитав здесь и там, я узнал, что могу решить эту проблему, отслеживая последний бит в чанке, поэтому я сделал следующее: если в чанке есть /n, это означает, что чанк состоит из полной строки, в противном случае Я обычно сохраняю частичную последнюю строку и храню ее в переменной, чтобы я мог использовать этот бит и объединить его со следующей незавершенной строкой, идущей в следующем фрагменте, и с этим я успешно смог решить эту проблему.
образец кода :-
# in this function i am reading the file in chunks
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
# file where i am writing my final output
write_file=open('split.txt','w')
# variable i am using to store the last partial line from the chunk
placeholder= ''
file_count=1
try:
with open('/Users/rahulkumarmandal/Desktop/combined.txt') as f:
for piece in read_in_chunks(f):
#print('---->>>',piece,'<<<--')
line_by_line = piece.split('\n')
for one_line in line_by_line:
# if placeholder exist before that means last chunk have a partial line that we need to concatenate with the current one
if placeholder:
# print('----->',placeholder)
# concatinating the previous partial line with the current one
one_line=placeholder+one_line
# then setting the placeholder empty so that next time if there's a partial line in the chunk we can place it in the variable to be concatenated further
placeholder=''
# futher logic that revolves around my specific use case
segregated_data= one_line.split('~')
#print(len(segregated_data),type(segregated_data), one_line)
if len(segregated_data) < 18:
placeholder=one_line
continue
else:
placeholder=''
#print('--------',segregated_data)
if segregated_data[2]=='2020' and segregated_data[3]=='2021':
#write this
data=str("~".join(segregated_data))
#print('data',data)
#f.write(data)
write_file.write(data)
write_file.write('\n')
print(write_file.tell())
elif segregated_data[2]=='2021' and segregated_data[3]=='2022':
#write this
data=str("-".join(segregated_data))
write_file.write(data)
write_file.write('\n')
print(write_file.tell())
except Exception as e:
print('error is', e)
Вы можете использовать следующий код.
file_obj = open('big_file')
open () возвращает объект файла
затем используйте os.stat для получения размера
file_size = os.stat('big_file').st_size
for i in range( file_size/1024):
print file_obj.read(1024)