Описание тега data-partitioning

Вопросы с тегом
Разделение данных имеет дело с разделением набора данных на более мелкие коллекции данных с целью более быстрой обработки, более легкого сбора статистики и меньшего объема памяти / постоянства.
1 ответ

Kafka Streams: Частичная переработка по ключу

Сценарий: В сценарии веб- сеанса KafkaStreams с неограниченным (или многолетним) хранением, с интерактивными запросами (это может быть просмотрено при необходимости), со многими клиентами, каждый из которых имеет много пользователей (каждый пользова…
15 фев '18 в 12:14
2 ответа

Используя jq, как я могу разбить очень большой файл JSON на несколько файлов, каждый из которых содержит определенное количество объектов?

У меня есть большой файл JSON с 4 миллионами объектов. Каждый верхний уровень имеет несколько уровней, вложенных внутрь. Я хочу разделить это на несколько файлов по 10000 объектов верхнего уровня каждый (сохранив структуру внутри каждого). JQ должен…
13 апр '18 в 02:52
0 ответов

Как фильтровать разделы на основе диапазона дат

У меня есть таблица улья, которая разделена на y, m, d, h, min(у =2018/ м =06/ д =05/ ч =10/ мин =00) в UTC. Я собираюсь запросить эту таблицу на основе диапазона дат в IST. Например, если я хочу запросить диапазон дат с 12-04-2018 по 16-06-2018 в I…
05 июн '18 в 12:13
1 ответ

Можно ли использовать имя раздела таблицы базы данных как часть предложения WHERE для оператора IBM DB2 9.7 SELECT?

Я пытаюсь выбрать все данные из одного и того же конкретного табличного раздела для более 100 таблиц с помощью утилиты DB2 EXPORT. Имя раздела является постоянным во всех моих многораздельных таблицах, что делает этот метод более выгодным, чем испол…
16 фев '16 в 18:12
1 ответ

Разделить большой JSON-файл с хэш-структурой на несколько небольших файлов

Я работаю с очень большим файлом JSON, который имеет хеш-подобную структуру: { "1893": { "foo": { "2600": { ...[snip]... }, "3520": { ...[snip]... } } "id": "foobar" }, "123": { "bar": { "4989": { ...[snip]... }, "0098": { ...[snip]... } } "id": "fo…
22 янв '19 в 11:02
1 ответ

Алгоритм C для проблем с разделами

Дан набор целых чисел S: Как можно разделить множество на k частей так, чтобы сумма каждой части была минимальной? Пожалуйста, дайте также C реализация. Пример: S = {1, 2, 3, 4, 5, 6} and k = 3 Раздел S1 = {1, 6} S2 = {2, 5} S3 = {3, 4} обладает сво…
21 мар '11 в 21:55
1 ответ

Запросы диапазона дат в хранилище таблиц Azure

Здравствуйте, ответ на мой вопрос: время ожидания доступа к таблице Windows Azure. Ключи разделов и ключи строк указывают на способ организации данных в моей учетной записи хранения Azure. У меня есть схема хранения таблиц, предназначенная для хране…
16 янв '14 в 11:29
1 ответ

MySQL Partitioning: повышение производительности для многораздельных таблиц. Зачем?

Я реализовал тест, который проверяет постоянство операций чтения и записи в 10 различных таблицах. У меня есть 10 потоков Java, каждый выполняет запросы только к своей таблице: Потоки 1 выполняют операции с таблицей 1, Потоки 2 выполняют операции с …
27 дек '12 в 10:43
1 ответ

Задержка доступа к таблице Windows Azure Ключи разделов и ключи строк

У нас есть система хранения таблиц Windows Azure, в которой у нас есть различные типы объектов, которые сообщают значения в течение дня, поэтому у нас есть следующий сценарий раздела и ключа строки: Есть около 4000 - 5000 субъектов. Существует 6 тип…
15 янв '14 в 21:57
1 ответ

Скорость алгоритма разделения пространства

Я разрабатываю 3D Game Engine как проект. Я хотел бы использовать алгоритмы разделения пространства для каждого треугольника / многоугольника в моей сцене, чтобы эффективно обнаруживать столкновения. Я просто хочу знать (перед тем как приступить к п…
31 июл '12 в 07:10
0 ответов

Обработка дубликатов ключей в быстрой сортировке

Наивная быстрая сортировка потребует O(n^2) времени для сортировки массива, не содержащего уникальных ключей, потому что все ключи будут разделены либо до, либо после значения pivot. Существуют способы обработки дублированных ключей (например, описа…
01 авг '11 в 19:03
4 ответа

Самый хороший и эффективный способ получить набор результатов последовательности элементов, выполняющих и не выполняющих условие

(Это профессиональная практика / интерес, а не домашняя работа) INPUT: любая неупорядоченная последовательность или элементы генератора, функция myfilter(item) возвращает True, если условие фильтра выполнено ВЫХОД: (filter_true, filter_false) кортеж…
06 сен '10 в 09:18
0 ответов

PL/SQL - каковы параметры для DBMS_MVIEW.REFRESH(), чтобы принудительно обновить раздел MV?

У меня есть MV с теми же разделами / подразделами, что и исходная таблица. Когда я делаю обмен разделами на исходной таблице, моя система знает, какие разделы были обменены и какие должны быть обновлены в MV. Я бы предпочел не помещать запись матери…
02 апр '18 в 14:22
1 ответ

Невозможно создать абсолютно равные разделы данных с помощью createDataPartition в R- получать 1396 и 1398 наблюдений каждый, но нужно 1397

Я хорошо знаком с R, но никогда не имел этого требования, когда мне нужно было создать абсолютно одинаковый раздел данных случайным образом, используя createDataPartition в R. index = createDataPartition(final_ts$SAR,p=0.5, list = F) final_test_data…
04 янв '19 в 10:31
3 ответа

Проблема с пользовательским разделом

У меня есть следующая проблема: Учитывая набор из N целых чисел, разделите их на два почти равных разбиения таким образом, чтобы сумма большего разбиения была минимальной. Это звучит почти как классическая проблема разбиения с одним исключением: чет…
07 апр '11 в 18:21
1 ответ

Определите окно и используйте его в нескольких аналитических столбцах

У меня есть оракульный запрос, в котором мне нужно использовать несколько аналитических функций в одном окне. Как я могу определить окно один раз, а затем использовать его для каждого из этих вызовов? Т.е. я хочу написать это как в PostGRESql: SELEC…
17 май '17 в 07:25
4 ответа

Как разбить массив целых чисел на четные и нечетные?

Я хочу разделить массив (например, [1,2,3,4,5,6,7,8]) первый раздел должен содержать четные значения, второй нечетные значения (пример результата: [2,4,6,8,1,3,5,7]). Мне удалось решить эту проблему дважды с помощью встроенного Array.prototype метод…
14 июл '17 в 23:39
0 ответов

Разбиение массива на 3 столбца с помощью JS

Учитывая неизвестный массив целых чисел неизвестной длины, значения которых также неизвестны, как я могу организовать их в три столбца, чтобы сумма самой левой группы была наибольшей, средняя - второй по величине, а третья - наименьшей группы как мо…
14 мар '14 в 18:57
3 ответа

Честное разбиение множества S на k разбиений

Существует множество S, содержащее N целых чисел, каждое со значением 1<=X<=10^6. Проблема состоит в том, чтобы разбить множество S на k разделов. Значение раздела - это сумма элементов, присутствующих в нем. Разделение должно быть выполнено таким о…
23 июн '11 в 14:27
0 ответов

Как разбить большой CSV-файл, обработать его на нескольких ядрах и объединить результат в один, используя nodeJs

У меня очень большой CSV-файл (370 ГБ). У меня достаточно оперативной памяти (64 ГБ) под управлением Windows 10. Я думаю, что следующее - лучший способ обработки данных в моей системе, но я не уверен, как это сделать. Я хочу разбить его на 4 разных …
21 июн '16 в 12:32