Как передать исключение из одного процесса в другой?

Question

Я хочу вызвать исключение в функции загрузки, если состояние остановки в функции остановки "остановлено". Это не похоже на работу. Я использую Pipe, чтобы передать исключение. Что случилось?

def upload(instances, u1):
    for instance in instance:
        try:
            u1.recv()
            #do_something
        except:
            #do_something_else
            continue         

def stop(instances, s1):
    for instance in instances:
        RunningStatus = instance[4]
        if RunningStatus.lower() == 'stopped'.lower():
            s1.send(Exception) # I want to raise exception in upload function 
                               # from here

if __name__ == '__main__':
    s1, u1 = multiprocessing.Pipe()
    s = multiprocessing.Process(target = stop, args = (instances, s1,))
    u = multiprocessing.Process(target = upload, args = (instances, u1))
    s.start()
    u.start()
    u.join()

Answer 1

Вот пример того, как вы можете отправлять объекты Exception из одного процесса в другой. Я также попытался отправить полную информацию об исключении (возвращенную sys.exc_info), но, по вполне разумным причинам, это не удалось. Можно всегда отформатировать информацию трассировки в строку и отправить ее вместо этого (см. Модуль трассировки).

Протестировано на Ubuntu 14.04 Python 2.7, 3.4 (предоставляется Ubuntu) и 3.5 (Continuum).

from __future__ import print_function

import sys
import multiprocessing
import time

def upload(u1):
    i=0
    try:
        while True:
            print('>upload>',i)
            i+=1
            if u1.poll():
                # tvt = u1.recv()
                # raise tvt[0], tvt[1], tvt[2] # Python 2.7
                e = u1.recv()
                raise e
            time.sleep(0.1)
    except Exception as e:
        print('Exception caught:',e)
        print('exiting')

def stop(s1):
    try:
        while True:
            for j in range(100,110):
                time.sleep(0.1)
                if 105==j:
                    raise RuntimeError("oh dear at j={}".format(j))
    except Exception as e:
        # tvt = sys.exc_info()
        # s1.send(tvt) # doesn't work; tracebacks are not pickle'able
        s1.send(e)

if __name__ == '__main__':
    s1, u1 = multiprocessing.Pipe()
    s = multiprocessing.Process(target = stop, args = (s1,))
    u = multiprocessing.Process(target = upload, args = (u1,))
    s.start()
    u.start()
    u.join()

Выход:

>upload> 0
>upload> 1
>upload> 2
>upload> 3
>upload> 4
>upload> 5
>upload> 6
Exception caught: oh dear at j=105
exiting

Answer 2

Возможно, вы захотите изучить использование объекта Event вместо комбинации Pipe и Exception. Используя примитив Event для обмена данными между процессами, вы можете использовать функцию Upload, которая отслеживает событие и запускает логику, когда функция stop обнаруживает проблему.

Основываясь на вашем примере, я предполагаю, что каждый объект экземпляра в экземплярах является массивом, поэтому, расширяя этот массив дополнительным элементом, вы можете иметь уникальное событие для каждого экземпляра.

def upload(instances, u1):
for instance in instance:
    if instance[5].is_set(): # events only return TRUE if they are set
        #Exception logic would go here

    else: 
        u1.recv()
        #do_something


def stop(instances, s1):
for instance in instances:
    RunningStatus = instance[4]
    if RunningStatus.lower() == 'stopped'.lower():
        instance[5].set() # Set the event to TRUE 

if __name__ == '__main__':
    for instance in instances:
        instance[5] = multiprocessing.Event() # create a new event semaphore 
    s = multiprocessing.Process(target = stop, args = (instances, s1,))
    u = multiprocessing.Process(target = upload, args = (instances, u1))
    s.start()
    u.start()
    u.join()

Полный список многопроцессорных примитивов можно найти здесь: https://docs.python.org/2/library/multiprocessing.html.

Вот несколько хороших примеров различных применений для примитивов других многопроцессорных объектов: https://pymotw.com/2/multiprocessing/communication.html