Описание тега data-processing

Обработка данных касается преобразования необработанных данных в машиночитаемую форму и их последующей обработки (как сохранение, обновление, изменение порядка или распечатка) компьютером.
3 ответа

Python - обработка всех файлов в определенной папке

Я немного новичок в Python (это единственный язык программирования, который я знаю), и у меня есть куча спектральных данных, сохраненных в виде файлов.txt, где каждая строка - это точка данных, первое число - длина волны света используется и разделе…
1 ответ

Как читать разные файлы, хранящиеся в каталоге, и сохранять некоторые данные из них в один файл

Это продолжение вопроса, который я задавал ранее, и с помощью некоторых присутствующих здесь я смог запустить функцию, которую хочу написать, но я еще не завершил ее. Вот мой предыдущий вопрос: у меня есть ряд файлов с расширением (.msr), они содерж…
01 авг '10 в 15:34
1 ответ

Какой объем предварительной обработки требует ввода Vowpal Wabbit?

Я знаю, что vw может обрабатывать очень необработанные данные (например, необработанный текст), но, например, следует ли рассматривать масштабирование числовых функций перед подачей данных в vw? Рассмотрим следующую строку: 1 |n age: 80.0 height: 18…
2 ответа

Как зашифровать и расшифровать несколько файлов в один файл?

В качестве заголовка я хочу зашифровать 10 файлов в один файл, и файл расширения можно настроить. После шифрования я автоматически расшифрую его, чтобы создать 10 файлов, как первоначально. У кого-нибудь есть какие-либо идеи?
1 ответ

Керас, обучающий CNN - я должен преобразовать данные тепловой карты как изображение или 2D матрицу

Я заинтересован в обучении Keras CNN, и у меня есть некоторые данные в виде двумерных матриц (например, ширина х высота). Я обычно представляю или визуализирую данные как тепловую карту с цветовой шкалой. Однако, обучая CNN и форматируя ввод данных,…
2 ответа

Подведение итогов по случайному количеству входов столбца

Мне нужно суммировать количество столбцов "значение" для каждого значения col1 файла1 и экспортировать его в выходной файл. Я новичок в Python и должен сделать это для тысяч записей. File1 col1 col2 value 559 1 91987224 2400000000 559 0 91987224 100…
06 мар '18 в 13:44
1 ответ

Как объединить текстовые и категориальные функции в Python?

Я пытаюсь построить конвейер для преобразования и кодирования текстовых и категориальных функций соответственно и объединить их для подачи в классификатор. В настоящее время у меня есть следующий класс для выбора данных: class DataFrameSelector(Base…
1 ответ

PHP решение для массовой обработки

Я ищу компонент PHP для асинхронной обработки данных. По сути, мне нужно отобразить страницу с индикатором выполнения, который обновлен с помощью javascript, который отображает ход обработки некоторых данных. На бэкэнде вы определите свой лимит обра…
19 мар '12 в 18:11
1 ответ

Чтение таблицы HTML NASDAQ на фрейме данных

Я получил самый последний список торгуемых компаний из NASDAQ с этим кодом, однако я хотел бы, чтобы результаты отображались во фрейме данных, а не просто в списке со всей другой информацией, которая может мне не понадобиться. Есть идеи, как этого д…
1 ответ

Разбить столбец данных панды на несколько столбцов в одном файле

У меня есть фрейм данных с индексом, функциями и данными о времени, но данные о времени находятся в одном столбце, например: особенность даты идентификатора 1 дата1 2 дата2 особенность2 1 дата2 особенность3 Я хочу преобразовать это в это: особенност…
11 сен '17 в 14:23
1 ответ

Объединение и преобразование фреймов данных в R

У меня есть куча фреймов данных, которые выглядят так в R: print(output[2]) Button Intensity Acc Intensity RT Time tdelta SubjectID CoupleID PrePost 1: 0 30 0 0.0 0 83325.87 0.000 1531 153 Post 2: 1 30 1 13.5 0 83362.65 36.782 1531 153 Post 3: 1 30 …
30 апр '17 в 22:35
2 ответа

Каковы некоторые рекомендации по развертыванию нескольких контейнеров со связанными переменными среды?

Я пытаюсь развернуть параллельную задачу обработки данных, которая использует много контейнеров с одним и тем же образом докера, каждый из которых будет работать с разными инкрементными переменными среды. Изображение настроено для чтения переменных …
2 ответа

Импорт CSV-файлов с CRLF пунктирными линиями в R

Я городской планировщик, переходящий к анализу пространственных данных. Я не забываю о R и программировании в целом, но так как у меня нет соответствующей подготовки, мои навыки иногда ограничены. В настоящее время я пытаюсь проанализировать около 5…
29 июл '16 в 11:52
2 ответа

Приемы предварительной обработки данных для авто-кодировщика

В последнее время я пытаюсь использовать авто-кодировщик для поиска аномалий, но некоторые из входных функций - это данные подсчета (например, количество кликов или количество показов). Нужно ли нормализовать или масштабировать перед тренировкой?
2 ответа

Как вставить вкладку в последовательное слово в Python?

У меня проблема с очень большим текстовым файлом, который выглядит следующим образом: A T T A G C A A AT A G C A T TT AG G A G T T A G C A Каждый персонаж был разделен \t, но некоторые персонажи связаны, я хочу добавить \t к этой последовательности.…
14 ноя '16 в 02:52
0 ответов

Какие итерационные алгоритмы работают с растущими или сжимающимися наборами данных?

Как видно из заголовка, я специально ищу итерационные алгоритмы, в которых каждая итерация не имеет входного и выходного набора данных одинакового размера. У меня есть некоторые предположения о том, как можно улучшить производительность для этого ти…
0 ответов

Объедините оси коробочного графика с осями Polyfit Line в Matlab

Я рисую график для набора данных, включая блок-диаграмму и график полифитинга, но когда я его нарисовал, у них были две разные оси, поэтому я не мог их сравнить. Как я мог объединить эти два графика и сделать их одинаковыми осями? (Например, перемес…
03 дек '14 в 20:48
14 ответов

Алгоритм группировки слов анаграммы

Учитывая набор слов, нам нужно найти слова анаграммы и отобразить каждую категорию отдельно, используя лучший алгоритм. вход: man car kile arc none like выход: man car arc kile like none Лучшее решение, которое я сейчас разрабатываю, основано на хеш…
28 дек '08 в 09:11
2 ответа

Обработка данных в памяти в PHP

Я пишу PHP-фреймворк, который можно использовать для визуализации огромных объемов данных. Я не могу извлечь все данные в память и обработать их (например, сортировать, фильтровать и т. Д.). Итак, у меня есть построитель SQL-запросов, который создае…
07 дек '11 в 16:43
0 ответов

Тест One-Hot-Encode для соответствия Train с другой категорией

У меня есть категорическая функция, которую я хотел бы кодировать в горячем режиме, но тестовые данные (не доступны) могут включать дополнительные категории, и я не могу переобучить или настроить модель после получения тестовых данных. Моя идея сост…