Чтение потокового ввода от subprocess.communicate()

Question

Я использую Python subprocess.communicate() читать стандартный вывод из процесса, который выполняется около минуты.

Как я могу распечатать каждую строку этого процесса stdout в потоковом режиме, чтобы я мог видеть выходные данные по мере их генерирования, но все еще блокировать процесс, завершающийся перед продолжением?

subprocess.communicate() кажется, чтобы дать все выходные сразу.

Answer 1

Пожалуйста, обратите внимание, я думаю, что метод Дж. Ф. Себастьяна (ниже) лучше.

---

Вот простой пример (без проверки на ошибки):

import subprocess
proc = subprocess.Popen('ls',
                       shell=True,
                       stdout=subprocess.PIPE,
                       )
while proc.poll() is None:
    output = proc.stdout.readline()
    print output,

Если ls заканчивается слишком быстро, тогда цикл while может закончиться до того, как вы прочитаете все данные.

Вы можете поймать остаток в stdout следующим образом:

output = proc.communicate()[0]
print output,

Answer 2

Для получения выходных данных подпроцесса построчно, как только подпроцесс очищает свой буфер stdout:

#!/usr/bin/env python2
from subprocess import Popen, PIPE

p = Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1)
with p.stdout:
    for line in iter(p.stdout.readline, b''):
        print line,
p.wait() # wait for the subprocess to exit

iter() используется для чтения строк, как только они записаны, для обхода ошибки опережающего чтения в Python 2.

Если стандартный вывод подпроцесса использует буферизацию блоков вместо буферизации строк в неинтерактивном режиме (что приводит к задержке вывода до тех пор, пока дочерний буфер не заполнится полностью или не будет явно очищен дочерним процессом), вы можете попытаться форсировать небуферизованный вывод, используя pexpect , pty модули или unbuffer , stdbuf , script Утилиты, см. Q: Почему бы просто не использовать канал (popen())?

---

Вот код Python 3:

#!/usr/bin/env python3
from subprocess import Popen, PIPE

with Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1, universal_newlines=True) as p:
    for line in p.stdout:
        print(line, end='')

Примечание: в отличие от Python 2, который выводит строки байтов подпроцесса как есть; Python 3 использует текстовый режим (вывод cmd декодируется с использованием locale.getpreferredencoding(False) кодирование).

Answer 3

Я полагаю, что самый простой способ сбора выходных данных процесса в потоковом режиме выглядит следующим образом:

import sys
from subprocess import *
proc = Popen('ls', shell=True, stdout=PIPE)
while True:
    data = proc.stdout.readline()   # Alternatively proc.stdout.read(1024)
    if len(data) == 0:
        break
    sys.stdout.write(data)   # sys.stdout.buffer.write(data) on Python 3.x

readline() или же read() Функция должна возвращать только пустую строку в EOF после завершения процесса - в противном случае она будет блокироваться, если читать нечего (readline() включает символ новой строки, поэтому в пустых строках возвращается "\n"). Это избавляет от необходимости неловкого финала communicate() Позвоните после цикла.

На файлах с очень длинными строками read() может быть предпочтительным уменьшить максимальное использование памяти - число, передаваемое ей, является произвольным, но исключая его, можно сразу прочитать весь вывод канала, что, вероятно, нежелательно.

Answer 4

Если вы хотите неблокирующий подход, не используйте process.communicate(), Если вы установите subprocess.Popen() аргумент stdout в PIPEВы можете прочитать из process.stdout и проверьте, если процесс все еще выполняется с помощью process.poll(),

Answer 5

Если вы просто пытаетесь передать вывод в режиме реального времени, это будет трудно сделать проще, чем это:

import subprocess

# This will raise a CalledProcessError if the program return a nonzero code.
# You can use call() instead if you don't care about that case.
subprocess.check_call(['ls', '-l'])

Смотрите документы для subprocess.check_call ().

Если вам нужно обработать вывод, обязательно запустите его. Но если нет, просто будь проще.

Редактировать: jfs указывает и то, что значения по умолчанию для параметров stdout и stderr передаются sys.stdout и sys.stderr, и что это не удастся, если sys.stdout и sys.stderr были заменены (скажем, для захвата вывода в тесты).

Answer 6

myCommand="ls -l"
cmd=myCommand.split()
# "universal newline support" This will cause to interpret \n, \r\n and \r     equally, each as a newline.
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, universal_newlines=True)
while True:    
    print(p.stderr.readline().rstrip('\r\n'))

Answer 7

Добавляем еще одно решение python3 с небольшими изменениями:

1. Позволяет поймать код выхода процесса оболочки (мне не удалось получить код выхода при использовании with построить)
2. Также выводит stderr в режиме реального времени

import subprocess
import sys
def subcall_stream(cmd, fail_on_error=True):
    # Run a shell command, streaming output to STDOUT in real time
    # Expects a list style command, e.g. `["docker", "pull", "ubuntu"]`
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, bufsize=1, universal_newlines=True)
    for line in p.stdout:
        sys.stdout.write(line)
    p.wait()
    exit_code = p.returncode
    if exit_code != 0 and fail_on_error:
        raise RuntimeError(f"Shell command failed with exit code {exit_code}. Command: `{cmd}`")
    return(exit_code)