Python 3.2 pickle.load приводит к случайному EOFError
Я сталкиваюсь с очень странной ошибкой. У меня есть cronjob, который запускается ежедневно: он открывает маринованный файл, загружает этот файл и затем обрабатывает данные. В конце сценария он сохранит данные в этот файл для обработки на следующий день.
В большинстве случаев этот скрипт работает нормально, но есть время (я бы сказал, два раза в месяц), когда открывается этот файл, возникает EOFError:
Traceback (most recent call last):
File "read.py", line 11, in <module>
SellerDictionarycf=pickle.load(SellerDict)
EOFError
Я твердо верю, что с этим файлом не работает никакой другой процесс, и я на 100% уверен, что я записываю данные, закрываю этот файл перед чтением.
Мой фрагмент кода для чтения файла в начале скрипта:
SellerDict=open('/home/hostadl/SellerDictab','rb')
SellerDictionaryab=pickle.load(SellerDict)
SellerDict.close()
Мой фрагмент кода для записи файла в конце скрипта:
SellerDict=open('/home/hostadl/SellerDictab','wb')
pickle.dump(SellerDictionaryab,SellerDict)
SellerDict.flush()
SellerDict.close()
Я сохранил копию поврежденного файла (файл, который вызывает EOFError при чтении), а затем проверил его с помощью pickletools, и вот ошибка:
python3.2 -m pickletools -o test.txt SellerDictab
Traceback (most recent call last):
File "/usr/local/lib/python3.2/runpy.py", line 160, in _run_module_as_main
"__main__", fname, loader, pkg_name)
File "/usr/local/lib/python3.2/runpy.py", line 73, in _run_code
exec(code, run_globals)
File "/usr/local/lib/python3.2/pickletools.py", line 2403, in <module>
args.indentlevel, annotate)
File "/usr/local/lib/python3.2/pickletools.py", line 1963, in dis
for opcode, arg, pos in genops(pickle):
File "/usr/local/lib/python3.2/pickletools.py", line 1874, in genops
arg = opcode.arg.reader(pickle)
File "/usr/local/lib/python3.2/pickletools.py", line 474, in read_unicodestring4
"remain" % (n, len(data)))
ValueError: expected 2254 bytes in a unicodestring4, but only 0 remain
В файле test.txt все еще есть данные, а здесь голова и хвост:
head test.txt
0: \x80 PROTO 3
2: } EMPTY_DICT
3: q BINPUT 0
5: ( MARK
6: X BINUNICODE 'bradey4357604769'
27: q BINPUT 1
29: ] EMPTY_LIST
30: q BINPUT 2
32: ] EMPTY_LIST
33: q BINPUT 3
tail test.txt
18933166: e APPENDS (MARK at 18930621)
18933167: ] EMPTY_LIST
18933168: r LONG_BINPUT 174342
18933173: ( MARK
18933174: X BINUNICODE 'HP PhotoSmart C4480 All-in-One Printer'
18933217: r LONG_BINPUT 174343
18933222: G BINFLOAT 45.0
18933231: G BINFLOAT 84104.0
18933240: X BINUNICODE 'Salt Lake City, UT '
18933265: r LONG_BINPUT 174344
Для хорошего файла (без EOFError) вот голова и хвост:
head testgood.txt
0: \x80 PROTO 3
2: } EMPTY_DICT
3: q BINPUT 0
5: ( MARK
6: X BINUNICODE 'bj8016541577'
23: q BINPUT 1
25: ] EMPTY_LIST
26: q BINPUT 2
28: ( MARK
29: ] EMPTY_LIST
tail testgood.txt
16569368: X BINUNICODE 'Bought this beautiful dinner set but never opened it, I would love to get rod of it pleas tex with an offer...'
16569483: r LONG_BINPUT 161843
16569488: J BININT 20177894
16569493: X BINUNICODE 'antonio8016497082'
16569515: r LONG_BINPUT 161844
16569520: e APPENDS (MARK at 16569283)
16569521: e APPENDS (MARK at 16568508)
16569522: u SETITEMS (MARK at 16088830)
16569523: . STOP
Итак, что может быть причиной этой проблемы (например, странные символы в строковых данных)? Я понятия не имею по этой проблеме.
1 ответ
Похоже, вам не хватило места на диске (или по какой-то подобной причине не удалось записать полный файл).
Более идиоматическая версия (где вам не нужно беспокоиться о вызове close/flush):
with open('/home/hostadl/SellerDictab','rb') as SellerDict:
SellerDictionaryab=pickle.load(SellerDict)
with open('/home/hostadl/SellerDictab','wb') as SellerDict:
pickle.dump(SellerDictionaryab,SellerDict)