*** _pickle.UnpicklingError: данные маринования были усечены

Question

У меня есть каталог из тысячи файлов маринованных файлов, которые я загружаю один за другим следующим образом:

Я использую python3

import pickle
for data in directory:
    with open(data,'rb') as handle:
         pickled_data=pickle.load(handle)

Тем не менее, я получаю следующую ошибку для некоторых файлов:

***** _pickle.UnpicklingError: данные рассола были усечены ** d

Что случилось?

Данные хранятся следующим образом:

with open(filename,'wb') as handle:
     pickle.dump(data,handle,protocol=pickle.HIGHEST_PROTOCOL)

Спасибо