"Формат файла не поддерживается" при многопоточности списка файлов PDF

Question

Я учу себя основам работы с потоками в Python и застрял. Я хочу, чтобы скрипт применил функцию к списку PDF-файлов. Предполагается, что эта функция просто подсчитывает количество таблиц в каждом файле PDF, а затем возвращает комбинированный список с количеством таблиц в каждом файле.

Сейчас я получаю сообщение об ошибке, в котором говорится, что "мой формат файла не поддерживается". Насколько я могу судить, каждый путь в списке - это полный путь, который заканчивается на.pdf. Я не знаю, что я делаю не так?

Я сократил код до основных моментов и включил свой код ниже

import camelot
from multiprocessing.dummy import Pool as ThreadPool 
import glob
import os


#get a list of all the pdf paths in the directory I am interested in
pdfs = [os.path.abspath(x) for x in os.listdir(r'C:\Users\josiahh\Desktop\threading_learning')]

#format each path to have the r letter in front of it
rpdfs = ["r'" + pdf + "'" for pdf in pdfs]

#function that counts each table in the pdf. THIS IS WHERE SOMETHING IS WRONG...I THINK
listoflengths = []
def len_table5(filepath):    
    tables = camelot.read_pdf(filepath, pages = '1-end',flavor='stream')
    tablelength = len(tables)
    listoflengths.append(tablelength)

#threading code
pool = ThreadPool(5) 
results = pool.map(len_table5, rpdfs)
pool.close() 
pool.join() 

Любая помощь будет принята с благодарностью. Пожалуйста, дайте мне знать, если я могу что-то уточнить

РЕДАКТИРОВАТЬ: трассировка при использовании r перед именами файлов

---------------------------------------------------------------------------
NotImplementedError                       Traceback (most recent call last)
<ipython-input-57-d38bdf75c567> in <module>
      1 
      2 pool = ThreadPool(5)
----> 3 results = pool.map(len_table5, rpdfs)
      4 pool.close()
      5 pool.join()

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in map(self, func, iterable, chunksize)
    286         in a list that is returned.
    287         '''
--> 288         return self._map_async(func, iterable, mapstar, chunksize).get()
    289 
    290     def starmap(self, func, iterable, chunksize=None):

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in get(self, timeout)
    668             return self._value
    669         else:
--> 670             raise self._value
    671 
    672     def _set(self, i, obj):

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in worker(inqueue, outqueue, initializer, initargs, maxtasks, wrap_exception)
    117         job, i, func, args, kwds = task
    118         try:
--> 119             result = (True, func(*args, **kwds))
    120         except Exception as e:
    121             if wrap_exception and func is not _helper_reraises_exception:

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in mapstar(args)
     42 
     43 def mapstar(args):
---> 44     return list(map(*args))
     45 
     46 def starmapstar(args):

<ipython-input-54-025080eb0d6f> in len_table5(filepath)
      1 listoflengths = []
      2 def len_table5(filepath):
----> 3     tables = camelot.read_pdf(filepath, pages = '1-end',flavor='stream')
      4     tablelength = len(tables)
      5     listoflengths.append(tablelength)

~\AppData\Local\Continuum\anaconda3\lib\site-packages\camelot\io.py in read_pdf(filepath, pages, password, flavor, suppress_stdout, layout_kwargs, **kwargs)
    101 
    102         validate_input(kwargs, flavor=flavor)
--> 103         p = PDFHandler(filepath, pages=pages, password=password)
    104         kwargs = remove_extra(kwargs, flavor=flavor)
    105         tables = p.parse(flavor=flavor, suppress_stdout=suppress_stdout,

~\AppData\Local\Continuum\anaconda3\lib\site-packages\camelot\handlers.py in __init__(self, filepath, pages, password)
     33         self.filepath = filepath
     34         if not filepath.lower().endswith('.pdf'):
---> 35             raise NotImplementedError("File format not supported")
     36 
     37         if password is None:

NotImplementedError: File format not supported

Трассировка, когда не используется rs в пути к файлу

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-59-07744a46a83f> in <module>
      1 
      2 pool = ThreadPool(5)
----> 3 results = pool.map(len_table5, pdfs)
      4 pool.close()
      5 pool.join()

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in map(self, func, iterable, chunksize)
    286         in a list that is returned.
    287         '''
--> 288         return self._map_async(func, iterable, mapstar, chunksize).get()
    289 
    290     def starmap(self, func, iterable, chunksize=None):

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in get(self, timeout)
    668             return self._value
    669         else:
--> 670             raise self._value
    671 
    672     def _set(self, i, obj):

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in worker(inqueue, outqueue, initializer, initargs, maxtasks, wrap_exception)
    117         job, i, func, args, kwds = task
    118         try:
--> 119             result = (True, func(*args, **kwds))
    120         except Exception as e:
    121             if wrap_exception and func is not _helper_reraises_exception:

~\AppData\Local\Continuum\anaconda3\lib\multiprocessing\pool.py in mapstar(args)
     42 
     43 def mapstar(args):
---> 44     return list(map(*args))
     45 
     46 def starmapstar(args):

<ipython-input-58-e6499958826d> in len_table5(filepath)
     14 listoflengths = []
     15 def len_table5(filepath):
---> 16     tables = camelot.read_pdf(filepath, pages = '1-end',flavor='stream')
     17     tablelength = len(tables)
     18     listoflengths.append(tablelength)

~\AppData\Local\Continuum\anaconda3\lib\site-packages\camelot\io.py in read_pdf(filepath, pages, password, flavor, suppress_stdout, layout_kwargs, **kwargs)
    101 
    102         validate_input(kwargs, flavor=flavor)
--> 103         p = PDFHandler(filepath, pages=pages, password=password)
    104         kwargs = remove_extra(kwargs, flavor=flavor)
    105         tables = p.parse(flavor=flavor, suppress_stdout=suppress_stdout,

~\AppData\Local\Continuum\anaconda3\lib\site-packages\camelot\handlers.py in __init__(self, filepath, pages, password)
     41             if sys.version_info[0] < 3:
     42                 self.password = self.password.encode('ascii')
---> 43         self.pages = self._get_pages(self.filepath, pages)
     44 
     45     def _get_pages(self, filepath, pages):

~\AppData\Local\Continuum\anaconda3\lib\site-packages\camelot\handlers.py in _get_pages(self, filepath, pages)
     64             page_numbers.append({'start': 1, 'end': 1})
     65         else:
---> 66             infile = PdfFileReader(open(filepath, 'rb'), strict=False)
     67             if infile.isEncrypted:
     68                 infile.decrypt(self.password)

FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\josiahh\\camelot - Copy (2) - Copy.pdf'

Answer 1

Я постараюсь ответить на этот вопрос, вдруг у кого-то будет похожая проблема. Что я обнаружил, так это то, что раздел, который фильтрует PDF-файлы, не был реализован должным образом. Вам нужен фильтр, чтобы убедиться, что все возвращаемые файлы являются pdf-файлами.

Итак, измените:

      pdfs = [os.path.abspath(x) for x in os.listdir(r'C:\Users\josiahh\Desktop\threading_learning')]

к этому:

      pdfs = [os.path.abspath(x) for x in os.listdir(r'C:\Users\josiahh\Desktop\threading_learning') if x.endswith(".pdf")]

Вы заметите, что я добавил, если x.endswith(".pdf"), чтобы возвращались только файлы pdf.

Пожалуйста, попробуйте это и дайте мне знать, что это работает для вас. Исходная ошибка гласила, что Это означает, что он передает файлы, которые не являются pdf.

Answer 2

Следует учесть следующие моменты:

1. Не жестко кодируйте строки пути, это не гибко и, скорее всего, не будет работать на разных машинах.
2. os.listdir() просто возвращает имена файлов в папке, поэтому os.path.abspath() не даст вам правильного результата.
3. Не уверены в добавлении префиксов к именам файлов, вам это действительно нужно?

Исправленная версия будет:

import os
from multiprocessing.dummy import Pool as ThreadPool

import camelot

BASE_PATH = os.path.dirname((os.path.abspath(__file__)))

FOLDER_PATH = os.path.join(BASE_PATH, "threading_learning")

pdfs = [os.path.join(FOLDER_PATH, file_name) for file_name in os.listdir(FOLDER_PATH)]

listoflengths = []


def len_table5(filepath):
    tables = camelot.read_pdf(filepath, pages='1-end', flavor='stream')
    tablelength = len(tables)
    listoflengths.append(tablelength)


# threading code
pool = ThreadPool(5)
results = pool.map(len_table5, pdfs)
pool.close()
pool.join()

print(listoflengths)