Подпроцесс Python получить вывод детей в файл и терминал?

Question

Я запускаю скрипт, который выполняет несколько исполняемых файлов с помощью

subprocess.call(cmdArgs,stdout=outf, stderr=errf)

когда outf/errf либо None, либо дескриптор файла (разные файлы для stdout/stderr).

Можно ли как-нибудь выполнить каждый exe-файл, чтобы stdout и stderr были записаны в файлы и на терминал вместе?

Answer 1

call() функция просто Popen(*args, **kwargs).wait(), Вы могли бы позвонить Popen напрямую и использовать stdout=PIPE аргумент для чтения p.stdout:

import sys
from subprocess import Popen, PIPE
from threading  import Thread

def tee(infile, *files):
    """Print `infile` to `files` in a separate thread."""
    def fanout(infile, *files):
        for line in iter(infile.readline, ''):
            for f in files:
                f.write(line)
        infile.close()
    t = Thread(target=fanout, args=(infile,)+files)
    t.daemon = True
    t.start()
    return t

def teed_call(cmd_args, **kwargs):    
    stdout, stderr = [kwargs.pop(s, None) for s in 'stdout', 'stderr']
    p = Popen(cmd_args,
              stdout=PIPE if stdout is not None else None,
              stderr=PIPE if stderr is not None else None,
              **kwargs)
    threads = []
    if stdout is not None: threads.append(tee(p.stdout, stdout, sys.stdout))
    if stderr is not None: threads.append(tee(p.stderr, stderr, sys.stderr))
    for t in threads: t.join() # wait for IO completion
    return p.wait()

outf, errf = open('out.txt', 'w'), open('err.txt', 'w')
assert not teed_call(["cat", __file__], stdout=None, stderr=errf)
assert not teed_call(["echo", "abc"], stdout=outf, stderr=errf, bufsize=0)
assert teed_call(["gcc", "a b"], close_fds=True, stdout=outf, stderr=errf)

Answer 2

Использование | tee перенаправить вывод в файл с именем out.txt при получении вывода на терминал.

import subprocess

# Run command and redirect it by | tee to a file named out.txt 
p = subprocess.Popen([command, '|', 'tee', 'out.txt'])
p.wait()

В платформе Windows нет | тройник. Нам нужно использовать Powershell. Таким образом, команда в третьей строке становится:

# Run command in powershell and redirect it by | tee to a file named out.txt 
p = subprocess.Popen(['powershell','command, '|', 'tee', 'out.txt'])

Таким образом, стандартный вывод печатается, и стандартный вывод также будет сохранен в файле out.txt.

Answer 3

Вы можете использовать что-то вроде этого: https://github.com/waszil/subpiper

В ваших обратных вызовах вы можете делать все, что хотите, регистрировать, записывать в файл, печатать и т. Д. Он также поддерживает неблокирующий режим.

from subpiper import subpiper

def my_stdout_callback(line: str):
    print(f'STDOUT: {line}')

def my_stderr_callback(line: str):
    print(f'STDERR: {line}')

my_additional_path_list = [r'c:\important_location']

retcode = subpiper(cmd='echo magic',
                   stdout_callback=my_stdout_callback,
                   stderr_callback=my_stderr_callback,
                   add_path_list=my_additional_path_list)