Описание тега hpcc
Кластер высокопроизводительных вычислений (HPCC), также известный как DAS (суперкомпьютер для анализа данных), представляет собой платформу систем обработки больших объемов данных с открытым исходным кодом (2011 г.), аналогичную Hadoop, разработанной LexisNexis Risk Solutions.
2
ответа
Запуск матричного алгоритма на сколько ядер?
Я запускаю программу под названием dnadist от PHYLIP ( http://evolution.genetics.washington.edu/phylip/doc/dnadist.html). Это создает матрицу расстояний ДНК из числа введенных вами последовательностей. В настоящее время я хочу создать матрицу из 14 …
21 сен '18 в 22:48
1
ответ
Может ли тест STREAM и GUPS (с одним ЦП) использовать нелокальную память на машине NUMA
Я хочу запустить несколько тестов из HPCC, STREAM и GUPS. Они будут проверять пропускную способность памяти, задержку и пропускную способность (в терминах случайного доступа). Могу ли я запустить однопроцессорный тест STREAM или однопроцессорный GUP…
25 мар '10 в 17:04
2
ответа
Искажение данных после использования "scp" для передачи
Недавно я перенес набор данных с одного сервера на hpcc(высокопроизводительные вычисления). Команда выглядит так: scp /folder1/*.fastq.gz xxx@hpcc:/home/ scp /folder2/*.fastq.gz xxx@hpcc:/home/ scp /folder3/*.fastq.gz xxx@hpcc:/home/ Я открываю неск…
09 дек '11 в 00:33
1
ответ
Логические операторы HPCC-ECL - Почему ИЛИ не имеет короткого замыкания?
В документации указано, что логический оператор ИЛИ должен закорачивать: Если вероятность возникновения известна, вы должны упорядочить их от наиболее вероятных до наименее вероятных, потому что, как только любая часть составного условия OR оценива…
14 окт '16 в 12:05
1
ответ
Как преобразовать SET в DATASET в HPCC / ECL?
У меня есть этот набор в ECL EXPORT TableNames := [ 'tbl1', 'tbl2', 'tbl3', 'tbl4' ]; APPLY(TableNames, SomeFunctionPreviouslydefined); ... и я хочу передать его функции, используя APPLY. APPLY не принимает наборы: "3002: синтаксическая ошибка рядом…
18 сен '18 в 08:35
1
ответ
Что такое ECL-эквивалент NaN или IsNumeric?
Я хочу проверить, является ли какое-либо значение (то есть: 42 или 41.0005) числом в ECL (HPCC). Я имею в виду функцию, использующую регулярные выражения, как это: EXPORT IsNumeric(STRING UniqueID) := FUNCTION regex:='^\\d+$'; RETURN REGEXFIND(regex…
25 окт '16 в 14:27
0
ответов
Повреждение данных при манипулировании большими данными
Недавно у меня возникли очень странные проблемы с повреждением данных. В основном то, что я делаю, это: Передача некоторых больших данных (50 файлов, каждый размером около 8 ГБ) с одного сервера на hpcc(высокопроизводительные вычисления) с помощью "…
11 дек '11 в 02:34
1
ответ
Переключение с локального на тори кластер в ECL IDE
Я пытаюсь переключиться на кластер тор в ECL IDE, но тор не доступен в раскрывающемся меню. Это ошибка, которую я сделал во время установки? Кто-нибудь что-нибудь об этом?
25 окт '17 в 15:20
1
ответ
Разъем HPCC/HDFS
Кто-нибудь знает о разъеме HPCC/HDFS. Мы используем как HPCC, так и HADOOP. Существует одна утилита (разъем HPCC/HDFS), разработанная HPCC, которая позволяет кластеру HPCC обрабатывать данные HDFS. Я установил коннектор, но когда я запускаю программ…
19 июн '12 в 11:19
1
ответ
Определение того, лежат ли две гео-координаты x и y для двух разных автомобилей на одной дороге
Мои данные состоят из vehicle_ID, координат x и y (для местоположения), скорости транспортного средства, времени, в которое они путешествуют. И мы хотели бы знать, какие машины едут по тем же дорогам? это образец моих данных с 1 транспортным средств…
07 окт '17 в 17:59
1
ответ
Дженкинс благополучно прерывает дочерний процесс
У меня есть работа Jenkins, которая запускает программу Python в кластере через SSH от ведомого устройства Windows. Программа имеет шаг очистки, который запускается с помощью оператора python finally для любого вида исключения. Я бы хотел, чтобы это…
29 окт '18 в 10:26
3
ответа
Загрузка PetaBytes данных в масштабе
Мне нужно загрузить петабайты текстовых данных в хранилище (RAM/SSD) в течение секунды. Ниже приведены некоторые вопросы для решения вышеуказанной проблемы. 1) Практически / теоретически возможно загружать петабайты данных в секунду? 2) Какой будет …
09 дек '16 в 07:00
1
ответ
Я хочу преобразовать этот код из SAS в ECL(HPCC)
Может кто-нибудь, пожалуйста, объясните мне значение &, &&, % в этом коде SAS. Я хочу преобразовать этот код в ECL(HPCC). Спасибо PROC SQL; create table &RD (compress=binary) as select a.*,b.Staff_tag2 from &RD a left join (select DISTINCT u…
03 авг '15 в 08:51
1
ответ
Как получить доступ к моему док-контейнеру HPCC с другого ноутбука?
Я использую кластер HPCC в docker-compose на своем ноутбуке, используя docker-toolbox, так как у меня Windows7. Я могу успешно подключиться к контейнеру ( http://192.168.99.100:8010/) Мой файл docker-compose.yml: version: '2' services: hpcc-master: …
08 янв '18 в 17:59
2
ответа
Управление макросом цикла ECL с использованием результатов запроса
Мы пытаемся написать макрос цикла с функцией прерывания. По сути, мы хотели бы повторить определенное действие до тех пор, пока X (полученный из набора данных) не станет истинным. Компилятору, похоже, не нравится этот подход (возвращает "Ожидается п…
17 окт '16 в 13:52
0
ответов
Цикл Python не работает в SLURM
У меня есть код на Python, который использует функцию (назовем ее Integrator_MPI), которая распараллеливается в соответствии с MPI. Я извлекаю этот код в HPCC, отправляя задание, соответствующие строки которого: #!/bin/bash #SBATCH --job-name=Job # …
25 ноя '20 в 21:35
0
ответов
Распараллелить задания с помощью bsub
У меня есть скрипт на Python, с помощью которого я использую инструмент для тестирования около 20k файлов. Синтаксис для тестирования: toolname <file_name>Я хочу распараллелить то же самое, используя bsub. На данный момент я создал 20 пакетов,…
16 мар '21 в 17:22
0
ответов
Ошибки при запуске Linpack
Я пытаюсь запустить HPL Linpack на своем личном ноутбуке. Я использую CentOS 8 на виртуальной машине. Выделено ядер: 6 Память: 12,5 гб Узлы: 1 Когда я запускаю с меньшими значениями N, все работает нормально, но когда я пытаюсь максимизировать испол…
07 апр '21 в 21:43
2
ответа
Печатайте «Работа завершена», только когда все задания выполнены.
У меня есть сценарий Python, который отправляет несколько заданий с использованием bjobs. Ниже приведен фрагмент кода for jobs in job_list: i=0 os.system("bsub -J JOB_{} jobs".format(str(i)) i+=1 Я хочу напечатать «Завершение работы» только после то…
27 мар '21 в 11:53
1
ответ
Системы HPCC — невозможно изменить порт по умолчанию для Dali
Я устанавливаю системы HPCC в Ubuntu 20.04. При запуске приложения происходит сбой, потому что Дали пытается использовать порт 7070, который уже используется другим приложением. Я изменил порт в файле environment.xml и перезапустил HPCC, но он продо…
25 ноя '21 в 00:17