Перехват stdout подпроцесса во время его работы

Question

Если это мой подпроцесс:

import time, sys
for i in range(200):
    sys.stdout.write( 'reading %i\n'%i )
    time.sleep(.02)

И это скрипт, управляющий и изменяющий вывод подпроцесса:

import subprocess, time, sys

print 'starting'

proc = subprocess.Popen(
    'c:/test_apps/testcr.py',
    shell=True,
    stdin=subprocess.PIPE,
    stdout=subprocess.PIPE  )

print 'process created'

while True:
    #next_line = proc.communicate()[0]
    next_line = proc.stdout.readline()
    if next_line == '' and proc.poll() != None:
        break
    sys.stdout.write(next_line)
    sys.stdout.flush()

print 'done'

Почему readline а также communicate ждете пока процесс закончится бегом? Есть ли простой способ передать (и изменить) стандартный вывод подпроцесса?

Кстати, я видел это, но мне не нужны функции ведения журналов (и я не удосужился понять многое из этого).

Я на Windows XP.

Answer 1

Как уже упоминал Чарльз, проблема в буферизации. Я столкнулся с подобной проблемой, когда писал некоторые модули для SNMPd, и решил ее, заменив стандартный вывод автоматической версией.

Я использовал следующий код, вдохновленный некоторыми постами на ActiveState:

class FlushFile(object):
    """Write-only flushing wrapper for file-type objects."""
    def __init__(self, f):
        self.f = f
    def write(self, x):
        self.f.write(x)
        self.f.flush()

# Replace stdout with an automatically flushing version
sys.stdout = FlushFile(sys.__stdout__)

Answer 2

Вывод процесса буферизирован. В более операционных системах UNIXy (или Cygwin) доступен модуль pexpect, который перечисляет все необходимые заклинания, чтобы избежать проблем, связанных с буферизацией. Однако для этих заклинаний требуется работающий модуль pty, который недоступен в собственных (не cygwin) сборках Win32 Python.

В примере, где вы управляете подпроцессом, вы можете просто вызвать его sys.stdout.flush() при необходимости - но для произвольных подпроцессов эта опция недоступна.

Смотрите также вопрос "Почему бы просто не использовать трубу (popen())?" в pexpect FAQ.