Нужен быстрый набор данных 2D-просмотрщик / плоттер для больших наборов данных
Я ищу средство просмотра данных / плоттер для некоторых данных, которые я сгенерировал.
факты
Сначала несколько фактов о данных, которые я сгенерировал:
- Существует несколько наборов данных с примерно 3 миллионами точек данных в каждом.
- Каждый набор данных в настоящее время хранится в формате ascii.
- Каждая строка представляет точку и состоит из нескольких столбцов.
- Первые два столбца определяют положение точки (т. Е. Значения x и y), тогда как первый столбец представляет собой временную метку, а второй - нормализованное число с плавающей точкой между 0 и 1.
- Другие столбцы содержат дополнительные данные, которые можно использовать для раскрашивания графика или фильтрации данных.
- Пример точки данных:
2012-08-08T01: 02: 03.040 0.0165719281 foobar УСПЕХ XX: 1
Текущий подход
В настоящее время я генерирую несколько файлов png (с gnuplot) с различными критериями выбора, такими как следующие для каждого набора данных:
- Показать все точки серым цветом.
- Показать все точки серым цветом, а УСПЕХ - красным.
- Отобразить все точки серым цветом, но УСПЕХ - красным, XX:-1 - зеленым; если оба параметра SUCCESS и XX:-1 соответствуют, используйте синий в качестве цвета.
Недостатки
При нынешнем подходе есть некоторые недостатки, которые я бы хотел устранить:
- Я не могу легко включить / выключить некоторые фильтры или раскраски, потому что мне приходится каждый раз генерировать новый файл png.
- Мне нужно использовать ограниченное разрешение в моем файле изображения, потому что чем выше разрешение, тем медленнее зритель. Так что я могу только увеличить масштаб до ограниченного уровня детализации.
- У меня нет необработанных данных в программе просмотра png для каждой точки. В идеале я хотел бы, чтобы данные отображались при выборе точки.
Уже проверено
Я уже проверил некоторые другие подходы:
- У самого Gnuplot есть средство просмотра, но он не может эффективно обработать такое количество точек - он слишком медленный и потребляет слишком много памяти.
- Я быстро взглянул на KST, но не смог найти способ отображения 2D-данных и не думаю, что он будет соответствовать моим желаниям.
Пожелания
Я хотел бы иметь средство просмотра, которое может работать с необработанными данными, может быстро отображать точки при уменьшении масштаба, также может быстро увеличивать масштаб и также должно устранять вышеупомянутые недостатки.
Вопрос
Итак, наконец, кто-нибудь знает о таком зрителе или есть другое предложение?
Если у вас нет зрителя, то вам тоже могут помочь некоторые рекомендации по его программированию.
заранее спасибо
Стефан