Описание тега large-data-volumes
3
ответа
Стратегии записи расширяемых упорядоченных файлов на диск
Я аспирант ядерной физики, в настоящее время работаю над программой анализа данных. Данные состоят из миллиардов многомерных точек. В любом случае я использую кривые заполнения пространства, чтобы отобразить несколько измерений в одно измерение, и я…
28 июл '09 в 00:18
1
ответ
Матричный расчет замедляется после каждой итерации в matlab
У меня матрица 1024*1024*51. Я сделаю вычисления, чтобы изменить некоторое значение матрицы внутри для циклов (изменить значение матрицы для каждой итерации). Я обнаружил, что скорость вычислений становится все медленнее и, наконец, у моего компьюте…
13 фев '14 в 23:20
2
ответа
Большой файл через сервис WCF
Подобные вопросы текут вокруг, и я посмотрел на все из них. Похоже, никто не решает мою проблему. -- ОБНОВИТЬ: -- Я пытаюсь загрузить документ (pdf, doc или любой другой) в базу данных с помощью службы WCF. Звонок в сервис выглядит так: using (var c…
14 мар '12 в 01:54
3
ответа
Как регулировать DataStage
Я работаю над проектом, в котором мы запускаем несколько последовательностей DataStage, которые могут выполняться параллельно, в частности, одна из них работает плохо и требует много ресурсов, что влияет на общую среду. Инициатива по настройке произ…
20 фев '11 в 14:04
2
ответа
Лучшее решение для базы данных для управления огромным количеством данных
Я должен спроектировать базу данных трафика, которая включает в себя данные из разных городов (8 городов) по 2 Мб в течение 10 минут для каждого города 24 часа. Поступающие данные одинаковы для всего города. Итак, мой первый вопрос: что лучше с точк…
16 фев '10 в 10:53
4
ответа
Альтернативы огромным выпадающим спискам (более 24 000 наименований)
В моем разделе администратора, когда я редактирую элементы, я должен прикрепить каждый элемент к родительскому элементу. У меня есть список из более чем 24 000 родительских элементов, которые перечислены в алфавитном порядке в раскрывающемся списке …
03 авг '10 в 21:26
2
ответа
Более эффективное отображение очень больших наборов данных
У меня есть проект логического анализатора, который записывает несколько сотен миллионов 16-битных значений (~100-500 миллионов), и мне нужно отображать что угодно, от нескольких сотен выборок до всего захвата, по мере увеличения масштаба пользовате…
29 янв '19 в 11:45
1
ответ
Интенсивная загрузка SAP RFC - 3 МБ текстового файла обеспечивает загрузку 150 МБ
У меня проблема с startRFC.exe, который производит гораздо больший сетевой трафик, чем требуется. startRFC имеет 3 параметра = 3 внутренних таблицы = 3 файла CSV. Общий размер этих файлов, которые отправляются в SAP, составляет 3 МБ, но это занимает…
21 июл '15 в 06:47
3
ответа
Начало работы с массивными данными
Я математик и иногда занимаюсь консалтинговыми проектами по статистике / анализу машинного обучения. Данные, к которым у меня есть доступ, обычно меньше, не более пары сотен мегабайт (и почти всегда гораздо меньше), но я хочу больше узнать об обрабо…
30 май '10 в 04:04
3
ответа
Нужно сравнить очень большие файлы около 1,5 ГБ в Python
"DF","00000000@11111.COM","FLTINT1000130394756","26JUL2010","B2C","6799.2" "Rail","00000.POO@GMAIL.COM","NR251764697478","24JUN2011","B2C","2025" "DF","0000650000@YAHOO.COM","NF2513521438550","01JAN2013","B2C","6792" "Bus","00009.GAURAV@GMAIL.COM","…
19 апр '13 в 17:24
2
ответа
Нарисуйте линейный график в Objective C с большим количеством данных и покажите их в виде коллекции
У меня есть большие объемы данных (элементы / строки), хранящиеся в файле с расширением.rec (так же, как.text). Мне нужно показать вершины в линейном графике, поддерживающем масштабирование и перетаскивание. Я могу нарисовать линейный график с CoreG…
13 июл '16 в 01:20
2
ответа
Доступ к большим наборам данных и / или их хранение
В данный момент я имею дело с большим количеством наборов данных с плавающей запятой / двойных данных, которые будут использоваться для расчета. У меня есть набор файлов для сравнения данных A с данными B, и я хотел бы вычислить евклидово подобие ра…
16 фев '12 в 08:19
1
ответ
Отображение большой коллекции в DataGrid
Количество предметов в коллекции: ~100k Количество полей, отображаемых в столбцах: 4-10 Сама проблема - коллекция берется из базы данных с использованием EntityFramework. Для разработки и материализации всех необходимых данных требуется около 10-12 …
09 авг '10 в 09:58
1
ответ
Подсчитывает большой набор записей в БД
У меня есть таблица [ID,ITEM_NAME,ITEM_PRICE,ITEM_STATUS,ITEM_TYPE,ITEM_OWNER,ITEM_DATE] Приложение может запросить таблицу с любым количеством условий поиска, таких как дата товара и / или владелец товара и т. Д. В результирующем наборе мне также н…
21 май '13 в 10:53
1
ответ
Поиск дубликатов большой геопространственной базы данных
Я работаю с таблицей gemities maxmind ( см. Здесь), в MySQL (Windows). Эта таблица содержит более 2,7 миллионов строк (что довольно много). Я пытаюсь найти дубликаты городов (чтобы найти различное написание для каждого города, такого как pekin (fr),…
27 ноя '11 в 15:19
1
ответ
Ошибка нехватки памяти при использовании ffdf в R
Я хотел бы знать, как я могу решить следующую проблему. У меня есть таблица в postgreSQL с 100 миллионами строк и 4 столбцами, которые я хотел бы использовать в R с использованием ffdf. Вот мой код query <- "select * from ratings" drv <- dbDri…
08 фев '13 в 21:33
2
ответа
Чтение большого объема данных из базы данных Oracle и их экспорт в файл.dat с использованием C#
У нас есть запрос, который будет выполняться ежемесячно и возвращает данные размером 1 ГБ. Используемый здесь запрос - это просто запрос на выборку с внутренними объединениями, без использования курсора. В настоящее время они выполняют этот запрос в…
28 ноя '11 в 08:38
1
ответ
Отображать большие отсортированные списки в WPF БЫСТРО?
Я занимаюсь разработкой программы, которая должна отображать длинные (до 500 элементов) списки данных, которые необходимо восстанавливать при изменении их содержимого. По сути, у меня есть модель представления с наблюдаемой коллекцией, которая содер…
15 янв '10 в 13:08
1
ответ
Сериализовать список огромных составных графов, используя protobuf-net, вызывая исключение нехватки памяти
Я пытаюсь сериализовать объект, содержащий список очень больших составных графов объектов (~200000 узлов или более), используя Protobuf-net. По сути, я хочу сохранить объект целиком в один файл как можно быстрее и компактнее. Моя проблема заключаетс…
03 апр '13 в 17:40
1
ответ
Pythonic способ обработки 200 миллионов элементов данных?
У меня есть каталог из 1000 файлов. В каждом файле есть много строк, где каждая строка представляет собой ngram размером от 4 до 8 байт. Я пытаюсь проанализировать все файлы, чтобы получить отдельные нграммы в виде строки заголовка, а затем для кажд…
10 апр '14 в 03:19