Вернуть счетчик объекта в многопроцессорную / картографическую функцию

Question

У меня работает скрипт Python, который запускает одну и ту же функцию в нескольких потоках. Функции создают и обрабатывают 2 счетчика (c1 и c2). Результат всех счетчиков c1 из разветвленных процессов должен быть объединен вместе. То же самое относится ко всем счетчикам c2, возвращаемым разными вилками.

Мой (псевдо)-код выглядит так:

def countIt(cfg)
   c1 = Counter
   c2 = Counter
   #do some things and fill the counters by counting words in an text, like
   #c1= Counter({'apple': 3, 'banana': 0})
   #c2= Counter({'blue': 3, 'green': 0})    

   return c1, c2

if __name__ == '__main__':
        cP1 = Counter()
        cP2 = Counter()
        cfg = "myConfig"
        p = multiprocessing.Pool(4)  #creating 4 forks
        c1, c2 = p.map(countIt,cfg)[:2]
        # 1.) This will only work with [:2] which seams to be no good idea
        # 2.) at this point c1 and c2 are lists, not a counter anymore,
        # so the following will not work:
        cP1 + c1
        cP2 + c2

Следуя приведенному выше примеру, мне нужен результат, подобный: cP1 = Counter({'apple': 25, 'banana': 247, 'orange': 24}) cP2 = Counter({'red': 11, 'blue': 56, "зеленый": 3})

Итак, мой вопрос: как я могу подсчитать, что происходит с разветвленным процессом, чтобы объединить каждый счетчик (все c1 и все c2) в родительском процессе?

Answer 1

Вам нужно "разархивировать" свой результат, используя, например, цикл for-each. Вы получите список кортежей, где каждый кортеж представляет собой пару счетчиков: (c1, c2),
С вашим текущим решением вы фактически смешиваете их. Вы назначены [(c1a, c2a), (c1b, c2b)] в c1, c2 означающий, что c1 содержит (c1a, c2a) а также c2 содержит (c1b, c2b),

Попробуй это:

if __name__ == '__main__':
        from contextlib import closing

        cP1 = Counter()
        cP2 = Counter()

        # I hope you have an actual list of configs here, otherwise map will
        # will call `countIt` with the single characters of the string 'myConfig'
        cfg = "myConfig"

        # `contextlib.closing` makes sure the pool is closed after we're done.
        # In python3, Pool is itself a contextmanager and you don't need to
        # surround it with `closing` in order to be able to use it in the `with`
        # construct.
        # This approach, however, is compatible with both python2 and python3.
        with closing(multiprocessing.Pool(4)) as p:
            # Just counting, no need to order the results.
            # This might actually be a bit faster.
            for c1, c2 in p.imap_unordered(countIt, cfg):
                cP1 += c1
                cP2 += c2