Подпроцесс программы Python C висит на "для строки в iter"

Итак, я пытаюсь запустить программу на C из скрипта Python. В настоящее время я использую тестовую программу C:

#include <stdio.h>

int main() {
while (1) {
    printf("2000\n");
    sleep(1);
}
return 0;
}

Чтобы смоделировать программу, которую я буду использовать, которая постоянно считывает показания датчика. Тогда я пытаюсь прочитать вывод (в этом случае "2000") из программы на C с подпроцессом в python:

#!usr/bin/python
import subprocess

process = subprocess.Popen("./main", stdout=subprocess.PIPE)
while True:
    for line in iter(process.stdout.readline, ''):
            print line,

но это не работает. Используя операторы print, он запускает .Popen линия затем ждет в for line in iter(process.stdout.readline, ''):До тех пор, пока я не нажму Ctrl-C.

Почему это? Это именно то, что большинство примеров, которые я видел, имеют в качестве кода, и все же он не читает файл.

Редактировать:

Есть ли способ заставить его работать только тогда, когда есть что почитать?

Источник

3 ответа

Решение

Это проблема буферизации блоков.

Ниже приведена расширенная для вашего случая версия моего ответа на Python: чтение потокового ввода из вопроса subprocess.communicate().

Исправить стандартный буфер в C-программе напрямую

stdio Программы на основе, как правило, буферизуются в строке, если они работают в терминале в интерактивном режиме, и блокируются в буфере, когда их стандартный вывод перенаправляется в канал. В последнем случае вы не увидите новых строк, пока буфер не переполнится или не очистится.

Чтобы не звонить fflush() после каждого printf() call, вы можете вызвать вывод с буферизацией строки, вызвав программу на C в самом начале:

setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */

Как только печатается новая строка, в этом случае буфер очищается.

Или исправьте это, не изменяя исходный текст программы на C

Есть stdbuf Утилита, позволяющая изменять тип буферизации без изменения исходного кода, например:

from subprocess import Popen, PIPE

process = Popen(["stdbuf", "-oL", "./main"], stdout=PIPE, bufsize=1)
for line in iter(process.stdout.readline, b''):
    print line,
process.communicate() # close process' stream, wait for it to exit

Также доступны другие утилиты, см. Отключение буферизации в конвейере.

Или используйте псевдо-TTY

Чтобы заставить подпроцесс думать, что он работает в интерактивном режиме, вы можете использовать pexpect модуль или его аналоги, для примеров кода, которые используют pexpect а также pty модули, см. зависание readlines() подпроцесса Python. Вот вариант на pty Пример, приведенный там (он должен работать на Linux):

#!/usr/bin/env python
import os
import pty
import sys
from select import select
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()  # provide tty to enable line buffering
process = Popen("./main", stdin=slave_fd, stdout=slave_fd, stderr=STDOUT,
                bufsize=0, close_fds=True)
timeout = .1 # ugly but otherwise `select` blocks on process' exit
# code is similar to _copy() from pty.py
with os.fdopen(master_fd, 'r+b', 0) as master:
    input_fds = [master, sys.stdin]
    while True:
        fds = select(input_fds, [], [], timeout)[0]
        if master in fds: # subprocess' output is ready
            data = os.read(master_fd, 512) # <-- doesn't block, may return less
            if not data: # EOF
                input_fds.remove(master)
            else:
                os.write(sys.stdout.fileno(), data) # copy to our stdout
        if sys.stdin in fds: # got user input
            data = os.read(sys.stdin.fileno(), 512)
            if not data:
                input_fds.remove(sys.stdin)
            else:
                master.write(data) # copy it to subprocess' stdin
        if not fds: # timeout in select()
            if process.poll() is not None: # subprocess ended
                # and no output is buffered <-- timeout + dead subprocess
                assert not select([master], [], [], 0)[0] # race is possible
                os.close(slave_fd) # subproces don't need it anymore
                break
rc = process.wait()
print("subprocess exited with status %d" % rc)

Или использовать pty с помощью pexpect

pexpect обертывания pty обработка в интерфейсе более высокого уровня:

#!/usr/bin/env python
import pexpect

child = pexpect.spawn("/.main")
for line in child:
    print line,
child.close()

Q: Почему бы просто не использовать канал (popen())? объясняет, почему псевдо-TTY полезен.

Источник

Ваша программа не зависла, она работает очень медленно. Ваша программа использует буферизованный вывод; "2000\n" данные не записываются в stdout сразу, но в конечном итоге это сделают. В вашем случае это может занять BUFSIZ/strlen("2000\n") секунд (вероятно, 1638 секунд) для завершения.

После этой строки:

printf("2000\n");

добавлять

fflush(stdout);
Источник

Смотрите документацию readline.

Ваш код:

process.stdout.readline

В ожидании EOF или новой строки.

Я не могу сказать, что вы в конечном итоге пытаетесь сделать, но добавляю новую строку в ваш printf, например, printf("2000\n");, по крайней мере, вы должны начать.

Источник
Другие вопросы по тегам