Описание тега cluster-mode
0
ответов
pyarrow через spark-submit в режиме кластера не работает
У меня есть простой код Pyspark import pyarrow fs = pyarrow.hdfs.connect() Если я запускаю это с помощью spark-submit в режиме "client", он работает нормально, но в режиме "cluster" выдает ошибку Traceback (most recent call last): File "t3.py", line…
05 июл '18 в 14:11
3
ответа
Могу ли я добавить аргументы в код Python при отправке задания на работу?
Я пытаюсь использовать spark-submit выполнить мой код Python в кластере искры. Вообще бегаем spark-submit с кодом Python, как показано ниже. # Run a Python application on a cluster ./bin/spark-submit \ --master spark://207.184.161.138:7077 \ my_pyth…
26 авг '15 в 02:43
1
ответ
Проблема режима Spark Cluster для чтения таблицы Hive-Hbase в среде Kerberized
Описание ошибки Мы не можем выполнить нашу работу Spark в режиме пряжи-кластера или клиента-пряжи, хотя она работает нормально в локальном режиме. Эта проблема возникает, когда мы пытаемся прочитать таблицы Hive-HBase в кластере Kerberized. Что мы у…
21 мар '18 в 15:45
0
ответов
Консольный вывод с рабочих узлов в файл в режиме кластера Spark
Я бегу pyspark использование сценария spark-submit, Работа проходит успешно. Теперь я пытаюсь собрать консольный вывод этой работы в файл, как показано ниже. spark-submit in yarn-client mode spark-submit --master yarn-client --num-executors 5 --exec…
26 окт '18 в 17:32
0
ответов
Java/Spark: почему я получаю разные результаты в локальном и кластерном режиме?
У rdd есть ключи и идентификаторы транзакций этих ключей (напр. ([яблоко, клубника, банан],[1,2,3,4,5])) Я хотел бы найти пересечение идентификаторов этой транзакции, которые имеют те же ключи. Я попробовал код ниже. Он работает в локальном режиме, …
21 май '18 в 15:42
4
ответа
Проблема конфигурации порта экспресс-сервера в режиме кластера pm2
Проблема: мы запускаем pm2 в режиме кластера, и pm2 запускает столько процессов, сколько имеется ядер процессора, pm2 также пытается запустить столько серверов узлов, сколько имеется ядер процессора, но проблема здесь в том, что он не запускает стол…
06 апр '18 в 11:31
0
ответов
В режиме кластера Pm2 глобальная переменная имеет различное значение для каждого потока
У меня есть приложение NodeJs, которое работает в режиме кластера с 4 экземпляра. Карта определяется в файле "pipe.js", как показано ниже: var map = new Map(); module.exports = map; Я ввел значение в карту, как показано ниже: map[value] = value_1; В…
05 май '17 в 05:01
0
ответов
Confluent-kafka (с kerberos) Ошибка при работе с python при отправке в режиме кластера
Я сталкиваюсь со следующей ошибкой при отправке задания Python в режиме кластера: appcache / application_1548793257188_803870 / container_e80_1548793257188_803870_01_000001 / environment / lib / python2.7 / site-packages / confluent_kafka /init.py "…
08 мар '19 в 14:58
0
ответов
Можно ли добавить дополнительные jar-файлы к основным / рабочим узлам ПОСЛЕ подачи искры во время выполнения?
Я пишу сервис, который работает на долгосрочном Spark-приложении из spark-отправки. Служба не будет знать, какие jar-файлы нужно поместить на пути к классам, к моменту первоначальной отправки искры, поэтому я не могу включить ее, используя --jars, З…
19 мар '19 в 20:25
0
ответов
Запуск нескольких приложений Nodejs на одном сервере с использованием Pm2
У меня есть вопрос, который беспокоит меня. У меня есть сервер с 8 ядрами и 16 ГБ оперативной памяти, на котором я запускаю 2 приложения. Первый развернут на 4 ядрах как кластер с PM2, а его старый объем памяти составляет более 40% фактической опера…
10 авг '19 в 02:43
1
ответ
Как я могу использовать интерпретатор babel в режиме кластера pm2
У меня ошибка в кодах ES, потому что babel-node не работает, когда я запускаю приложение в режиме кластера pm2, но в режиме вилки оно работает успешно, здесь говорится, что--interpreter не может работать в кластерном режиме (-i) из-за его принципа р…
08 янв '20 в 21:25
2
ответа
Spark Pod перезапускается каждый час в Kubernetes
Я развернул искровые приложения в кластерном режиме в кубернетах. Модуль приложения Spark перезапускается почти каждый час. Перед перезапуском в журнале драйвера отображается следующее сообщение: 20/07/11 13:34:02 ERROR TaskSchedulerImpl: Lost execu…
12 июл '20 в 10:25
1
ответ
Могут ли два исполнителя / драйвера из разных приложений Spark работать на одном узле в режиме кластера?
Я прочитал статью в Medium, в которой утверждается, что количество исполнителей + 1 (для драйвера) должно быть кратно 3, чтобы эффективно использовать ядро на машине (в данном случае 16 ядер, то есть 5 на исполнитель и 1 будет зарезервирован для О…
17 авг '20 в 22:10
1
ответ
Запись в локальную ФС в кластерном режиме SPARK
Для искровых заданий мы пытаемся добавить платформу ведения журнала, которая создает пользовательский файл журнала в локальной FS. В клиентском режиме все нормально, файлы создаются на локальной ФС с пользователем, запустившим spark-submit. Однако в…
02 июл '20 в 13:17
0
ответов
Как запустить Nuxt js в кластерном режиме без модулей (PM2), контейнеров и так далее?
Вопрос не требует пояснений. Как запустить nuxt js в режиме кластера, как если бы это приложение node js. const cluster = require('cluster'); ... это то, что я имею в виду
22 окт '20 в 22:07
0
ответов
pm2 cluster_mode с разными настройками среды
У меня есть файл экосистемы.config.js, который выглядит так: module.exports ={ apps: [ { name: `${process.env.APP_NAME}_PROCESS`, script: 'npm', args: scriptArgs, autorestart: true, watch: false, exec_mode: 'cluster_mode', instances: 'max', kill_tim…
26 окт '20 в 10:53
0
ответов
Можно ли обнулить время простоя только с одним экземпляром режима вилки pm2 с помощью команды перезагрузки pm2?
Привет, я делаю сервер api с nodejs и pm2. У меня вопрос. Можно ли обнулить время простоя только с одним экземпляром режима вилки pm2 с помощью команды перезагрузки pm2? Или необходимо иметь два экземпляра кластерного режима pm2 для обеспечения нуле…
10 фев '21 в 08:34
1
ответ
Чтение CSV-файла, хранящегося локально, с использованием javaSpark в кластерном режиме
Я пытаюсь прочитать файл csv, хранящийся в моей локальной файловой системе в UNIX, при запуске в режиме кластера он не может найти файл csv. в локальном режиме он может читать как hdfs, так и file:/// files.bit, в кластерном режиме он может читать т…
14 окт '21 в 16:03
1
ответ
Остановка PM2 в кластерном режиме
По ошибке я запускаю на сервере следующую команду pm2start app.js -i 3500 Сейчас на сервере создается несколько экземпляров в кластерном режиме. Кто-нибудь может подсказать, как я могу это остановить? И как я могу удалить уже экземпляры? Спасибо
22 дек '21 в 06:30
1
ответ
Использование JedisCluster с RedisTemplate весной
Первоначально в нашем коде мы использовали в сочетании с JedisConnectionFactoryа также JedisPoolConfigпоскольку мы использовали Redis на одном узле: @Bean(name = "redisTemplate") public RedisTemplate<String, String> getRedisTemplate(JedisConne…
13 фев '22 в 14:49