Последняя небуферизованная строка не может быть прочитана

Question

Я пытаюсь прочитать последнюю строку из команды вроде "apt-get download firefox". Обычно вывод будет похож

Get:1 http://archive.ubuntu.com/ubuntu/ utopic/main firefox amd64 32.0+build1-0ubuntu2 [34.9 MB]
2% [1 firefox 646 kB/34.9 MB 2%]

с последней строкой, постоянно обновляемой (она не записывает новую строку, пока не достигнет 100%). Моя цель сейчас прочитать прогресс в реальном времени. Вот мой текущий пример кода:

#!/usr/bin/python3 -u
# coding=utf-8

import subprocess, sys

pipe = subprocess.Popen(['apt-get', 'download', 'firefox'], 0, stderr = subprocess.PIPE, stdout = subprocess.PIPE)
while True:
    content = pipe.stdout.read(1).decode()
    if content == '':
        break
    sys.stdout.write(content)
    sys.stdout.flush()
pipe.wait()

Я отключил буферизацию вывода для вызова подпроцесса, а также для двоичного вывода для процесса Python (с аргументом -u). Но я получаю только первую строчку, а не прогресс второй. Кто-нибудь знает, как мне этого добиться?

Answer 1

Если стандартный выход apt-get перенаправлен на канал, например,

$ apt-get download firefox | cat

тогда это не сообщает о прогрессе (последняя строка, например, 2% [1 firefox 646 kB/34.9 MB 2%] не будет в выходной). stdout=subprocess.PIPE естественно создает трубу; следовательно apt-get не печатает прогресс загрузки в вашем случае.

Если вы хотите захватить оба apt-get выводить и видеть его на экране в режиме реального времени с последней строкой (отчет о проделанной работе), то вы можете использовать pexpect модуль, чтобы заставить дочерний процесс думать, что он работает в терминале:

import sys
import pexpect # $ pip install pexpect

output, exitstatus = pexpect.runu('apt-get download firefox',
                                  logfile=sys.stdout,
                                  withexitstatus=1)

Вы можете сделать то же самое, используя только stdlib pty модуль:

#!/usr/bin/env python3
import os
import pty

output = []
def read(fd):
    data = os.read(fd, 1024)
    output.append(data)
    return data
status = pty.spawn(['apt-get', 'download', 'firefox'], read)

@eryksun на Python предлагает трекер проблем apt-get "s --quiet опция:

#!/usr/bin/env python3
import shlex
from io import TextIOWrapper
from subprocess import Popen, PIPE

output = []
with Popen(shlex.split("apt-get --quiet=0 download firefox"),
           stdout=PIPE, bufsize=1) as p:
    # recognize '\r' as newline but don't convert it to '\n'
    for line in TextIOWrapper(p.stdout, newline=''):
        print(line, end='', flush=True) # print to terminal
        output.append(line) # save for later
print(p.returncode)