Описание тега large-scale

Вопросы с тегом
1 ответ

Как эффективно создавать сводные таблицы

В течение месяца процесс вставляет большое количество строк в некоторые таблицы базы данных ~1M.Это происходит ежедневно, и весь процесс длится ~40 минут. Это хорошо.Я создал несколько "сводных таблиц" из этих вставок, чтобы быстро запрашивать данны…
17 июл '14 в 12:29
2 ответа

Престашоп для крупного бизнеса

Я нахожусь в процессе выбора новой адекватной платформы электронной коммерции для компании. Их нынешний интернет-магазин имеет в среднем 130 посещений в день, в среднем 30 заказов в день, около 100000 товаров в базе данных, из которых 30000 являются…
03 фев '19 в 16:07
0 ответов

Как распространять / распространять 500000 записей с помощью Firebase?

Требования: Пользователи могут зарегистрироваться в компании и отказаться от подписки свободно. Пользователи должны получать только сообщения компаний, в которых они зарегистрированы. Пользователи не должны видеть сообщения, которые им уже понравили…
05 дек '16 в 11:59
3 ответа

Есть ли какая-нибудь обязательная книга о Symfony-2.0 и крупных проектах?

Я ищу путеводитель по фреймворку Symfony, особенно версии 2.0. Меня интересуют более продвинутые руководства, особенно о том, как "выжать" максимальную производительность из Symfony, оптимизации для средних и крупных проектов, где важны даже скромны…
22 июл '11 в 04:21
1 ответ

Большой рекомендатель

Я имею дело с проблемой рекомендаций, которая затрагивает 3 миллиона пользователей и 500 000 продуктов. Цель рекомендации - рекомендовать еще 5-10 продуктов конкретному пользователю при посещении данного продукта. Мы закончили работу с частью рекоме…
11 апр '13 в 12:06
6 ответов

С Haskell, как мне обрабатывать большие объемы XML?

Я изучал дампы данных переполнения стека и, таким образом, использовал преимущества удобного XML и "разбора" с помощью регулярных выражений. Мои попытки с различными библиотеками XML на Haskell найти первый пост в порядке следования документов конкр…
18 фев '10 в 22:30
0 ответов

Показать значения данных

Этот вопрос касается крупномасштабной системы. У меня есть бэкэнд-система с базой данных hadoop. Новые данные записываются в базу данных каждые 0,5 с или менее. Я хочу, чтобы мой интерфейс постоянно отображал обновленные значения. Я не хочу, чтобы и…
24 окт '18 в 03:13
2 ответа

Архитектура масштабируемой системы / Дизайн для чтения / анализа файлов

Предыстория: я разрабатываю программное приложение, которое читает миллионы или намного больше файлов и либо конвертирует, либо просто анализирует эти файлы. Часть требований состоит в том, чтобы построить масштабируемую и распределенную систему так…
24 мар '12 в 06:11
0 ответов

Крупномасштабные разреженные решатели (MATLAB)

Я работаю над крупномасштабными разреженными задачами, работающими с матрицами размеров 2500*700 (т. Е. Переполненный словарь) и 2500*3200 (недополненный словарь). Мы используем MATLAB для этой цели и знаем, что существуют некоторые стандартные разр…
03 ноя '14 в 10:36
2 ответа

Как постепенно обучать нейронную сеть в Matlab? и итеративно объединить их

У меня очень большой поезд, поэтому Матлаб. И мне нужно делать масштабные тренировки. Можно ли разбить обучающий набор на части и итеративно обучать сеть и на каждой итерации обновлять "сеть" вместо того, чтобы перезаписывать ее? Код ниже показывает…
16 янв '14 в 21:38
1 ответ

Как построить базу данных NEO4j из файла 60GB?

Я строю базу данных графа dbpedia - 2014 он состоит из около 60 ГБ тройных текстовых файлов. Каким было бы эффективное для этого время и память? Моя машина имеет: RAM - 8 ГБ Процессор - 2,20 ГГц HD - 500 ГБ (HDD)
20 ноя '15 в 07:35
2 ответа

Проблемы с памятью при крупномасштабной визуализации в социальных сетях с использованием R и Cytoscape

Я относительно новичок в R и пытаюсь решить следующую проблему: Я работаю на платформе Windows 7 Enterprise с 32-битной версией R и на моей машине около 3 ГБ ОЗУ. У меня есть крупномасштабные данные социальной сети (около 7000 вершин и около 30 000 …
11 апр '12 в 08:23
0 ответов

Как динамический языковой проект масштабируется?

Я фанат языка статических типов, поэтому я не представляю, как писать код без intellisense или проверки ошибок компиляции при нацеливании на динамический язык, такой как python, ruby ​​и JavaScript. Чтобы не делать вопрос открытым и широким, давайте…
29 июл '13 в 02:42
2 ответа

Как масштабировать алгоритм / сервис / систему с несколькими машинами?

Недавно у меня было несколько интервью, и вполне нормально, когда меня спрашивают о некоторых масштабных проблемах. Например, у вас есть длинный список слов (dict) и список символов в качестве входных данных, разработайте алгоритм для поиска самого …
14 мар '16 в 04:03
0 ответов

Кластеризация тегов в крупномасштабной матрице пользовательских тегов в Matlab

Я пытаюсь сгруппировать набор тегов в огромную разреженную матрицу пользовательских тегов в Matlab, скажем: 35000 * 74000 с разреженностью 99%. У меня, вероятно, есть два варианта: 1: Создание матрицы совпадений тегов и применение кластеризации к ма…
23 окт '14 в 07:19
3 ответа

Работа с большими файлами в Haskell

У меня большой файл (4+ гигабайта), скажем так, 4 байта с плавающей запятой. Я хотел бы рассматривать его как List, в том смысле, что я хотел бы иметь возможность использовать map, filter, foldl и т. Д. Однако вместо того, чтобы создавать новый спис…
18 дек '09 в 00:40
4 ответа

Целесообразно ли разрабатывать масштабные проекты в ASP.NET MVC 4?

Целесообразно ли разрабатывать крупномасштабные проекты (социальные сети), которые в перспективе будут обрабатывать миллионы посещений в день в ASP.NET MVC. Я думаю, что в этом случае производительность сайта будет крайне низкой. Мне нужен совет. Ка…
18 май '13 в 18:46
1 ответ

Крупномасштабная логистическая регрессия данных

У меня есть следующие входные данные: head(data1) VarA VarB VarC VarD VarE VarG VarH VarI 2016-06-01 09:30:05 14.2 31228 ABCD IS Equity 1 139 192 23 2016-06-01 09:30:07 14.2 31128 ABCD IS Equity 0 0 0 0 2016-06-01 09:30:09 14.2 36128 ABCD IS Equity …
07 дек '16 в 10:55
4 ответа

Как избежать большого умножения матриц в Matlab

В моем коде есть две большие матрицы, которые имеют одинаковое количество столбцов и разное количество строк. подобно A(20000X4000) а также B(30000X4000), Оба 0-1 разрежены. Я должен проверить каждую строку A со всеми строками B и посчитать количест…
04 дек '13 в 16:46
8 ответов

Масштабный дизайн в Хаскеле?

Что такое хороший способ для разработки / структурирования больших функциональных программ, особенно в Haskell? Я прошел через кучу обучающих программ ("Пишу себе схему" - моя любимая, с "Реал Уорлд Хаскелл"), но большинство программ относительно не…
20 июн '10 в 01:21