Как построить данные во время их обработки

Question

Я нахожусь в процессе преобразования большого (несколько ГБ) бинарного файла в формат csv с использованием Python, чтобы можно было построить полученные данные. Я делаю это преобразование, потому что файл bin находится не в формате, понятном инструменту / модулю черчения, поэтому требуется некоторая расшифровка / перевод. Прямо сейчас кажется, что Gnuplot - это путь для такого большого размера данных.

Мне интересно, если вместо того, чтобы ждать, пока весь файл завершит конвертацию, а затем запустить Gnuplot, есть ли способ отобразить данные по мере их обработки? Возможно, я мог бы обойти файл CSV в целом.

Все, что я до сих пор читал, указывает на построение файла с данными, но я не видел каких-либо способов построения / добавления отдельных точек данных.

Answer 1

Вы можете отобразить данные в процессе их обработки, но есть несколько проблем, которые связаны с ними с точки зрения эффективности.

1. Gnuplot должен каждый раз выполнять работу для обработки ваших данных.
2. Gnuplot должен ждать, пока ваша операционная система раскрасит ваш экран при каждом обновлении
3. Ваша программа должна подождать, пока Gnuplot сделает все это, чтобы перейти к следующему шагу.

Все это сильно повлияет на количество времени, которое вы тратите на ожидание ваших данных. Вы могли бы потенциально запустить его каждый x итерации (например, каждые 5 итераций), но даже это не даст вам большого ускорения.