Описание тега executors
Use for questions related with machines playing the role of an executors, for example inside a cluster in a distributed computing environment.
2
ответа
Приложение Spark использует только 1 исполнителя
Я запускаю приложение со следующим кодом. Я не понимаю, почему используется только 1 исполнитель, хотя у меня есть 3. Когда я пытаюсь увеличить диапазон, моя работа не выполняется, потому что диспетчер задач теряет исполнителя. В итоге я вижу значен…
20 сен '16 в 21:02
0
ответов
Как правильно использовать ScheduledExecutorService?
Так что я впервые использую ScheduledFuture, и я признаю, что, вероятно, я над головой. Я не могу заставить приведенный ниже пример работать. Цель состоит в том, чтобы просто выполнить два набора действий, каждый со своим временем ожидания, прежде ч…
05 май '15 в 22:34
2
ответа
Как узнать, когда поток останавливается или останавливается?
У меня есть следующий код: Executor exe = Executors.newFixedThreadPool(20); while (true) { try { exe.execute(new DispatcherThread(serverSocket.accept())); continue; } catch (SocketException sExcp) { System.exit(-1); } catch (Exception excp) { System…
09 июл '14 в 19:13
1
ответ
Прервать countDownLatch.await() после истечения времени ожидания
Я использую ExecutorService реализовать пул из 3 потоков и CountDownLatch для контроля завершения всех потоков для дальнейшей обработки. ExecutorService threadExecutor = Executors.newFixedThreadPool(3); CountDownLatch countDownLatch = new CountDownL…
06 мар '13 в 11:04
2
ответа
Как ждать, пока все представленные задачи в ExecutorService будут завершены без выключения?
Представьте, что мы просматриваем коллекцию и отправляем задачи для выполнения в фоновом режиме. class Processor { public void process(Iterable<Item> items, ExecutorService executorService) { for (Item item : items) { doStandardProcess(item); …
28 июн '15 в 10:02
1
ответ
Как работают FutureTasks и CachedThreadPool
В настоящее время у меня есть код, который делает следующее: private final static ExecutorService pool = Executors.newCachedThreadPool(); public void foo(){ FutureTask<MyObject> first_task = createFutureTask(); FutureTask<MyObject> secon…
05 мар '10 в 16:15
5
ответов
Java Executor с управлением дросселированием / пропускной способностью
Я ищу Java Executor, который позволил бы мне указать ограничения регулирования / пропускной способности / стимуляции, например, не более, чем, скажем, 100 задач могут быть обработаны в секунду - если передается больше задач, они должны быть поставле…
06 ноя '13 в 18:26
0
ответов
ImageIo исключения внутри искровых исполнителей
У меня есть работа spark, которая загружает изображения из таблиц улья, а затем я запускаю на них cnn, чтобы пометить их в памяти и записать обратно в hadoop. При средней загрузке 40-50 тыс. Изображений и около 50 исполнителей с 2 ядрами у меня де…
07 сен '18 в 08:55
1
ответ
Мне нужно разъяснение по ThreadpoolExecutor до перехвата ExExtete и AfterExecute
Я использую потоковые пулы в моем приложении. Я переклассифицировал TreadPoolExecutor и переопределил методы beforeExecute, afterExecute и завершил работу в статистических целях.Я также реализовал свой собственный ThreadFactory и переопределил метод…
06 окт '11 в 12:28
1
ответ
Apache Spark: настройка экземпляров исполнителя
Я запускаю свое приложение Spark на YARN с параметрами: в spark-defaults.conf: spark.master yarn-client spark.driver.cores 1 spark.driver.memory 1g spark.executor.instances 6 spark.executor.memory 1g в yarn-site.xml: yarn.nodemanager.resource.memory…
26 окт '16 в 16:08
2
ответа
Искру исполнителю не хватает памяти в join и reduByKey
В spark2.0 у меня есть два фрейма данных, и мне нужно сначала присоединиться к ним и сделать lowerByKey для агрегирования данных. Я всегда получал ООМ в исполнителе. Заранее спасибо. Данные d1 (1G, 500 миллионов строк, кэшировано, разделено на col i…
28 окт '16 в 16:19
0
ответов
Распределить часть кода по нескольким узлам в spark/scala
У меня размер файла около 10 ГБ. Мне нужно извлечь данные и вставить их в несколько таблиц улья. Я могу выполнить некоторые функции подготовки / отображения в одном узле. Пример данных: Dept : HR Emp name is Andrew lives in Colorodo DOB : 03/09/1958…
09 дек '16 в 06:11
1
ответ
Потоки ThreadPoolExecutor, конфликтующие с другими потоками
Я работаю над улучшением для существующего приложения Java. Приложение представляет собой процессор сообщений, который ежедневно обрабатывает несколько миллионов сообщений. Он в основном написан с использованием Core Java с потоками, а очереди реали…
31 мар '11 в 23:47
1
ответ
Невозможно получить смоделированный экземпляр Executor в отдельном классе
Я пытаюсь издеваться над ExecutorService и Executors из пакета java.util.concurrent. Я могу получить макет объекта, если я пытаюсь получить объект в том же классе (тестовый класс), где я насмехаюсь над объектом. Однако, если я пытаюсь получить макет…
18 дек '13 в 13:48
3
ответа
Как получить доступ к основной очереди ThreadpoolExecutor потокобезопасным способом
Метод getQueue() обеспечивает доступ к базовой очереди блокировки в ThreadPoolExecutor, но это не кажется безопасным. Обход через очередь, возвращаемую этой функцией, может пропустить обновления, внесенные в очередь ThreadPoolExecutor. "Метод getQue…
09 май '11 в 10:16
1
ответ
Установите доступные процессоры в Executors.newFixedThreadPool в HTTPServer
Я создаю HTTPServer, который должен обрабатывать несколько запросов одновременно. Основная функция того, что я построил, выглядит так: public static void main(String[] args) throws Exception { HttpServer server = HttpServer.create(new InetSocketAddr…
13 апр '16 в 08:56
0
ответов
Параллельное выполнение в Дженкинс
У меня есть мастер Дженкинс с 4 исполнителями. Можно ли запустить мою сборку во всех 4 Executor параллельно. Я пробовал NodeLabelParameter Plugin. Но моя сборка выполняется только в одном исполнителе (используя этот плагин, я могу выбрать любое коли…
05 мар '17 в 18:11
1
ответ
Исполнители Apache Spark и локальность данных
В искровой литературе говорится Каждое приложение получает свои собственные процессы-исполнители, которые работают в течение всего приложения и выполняют задачи в нескольких потоках. И если я правильно понимаю, что при статическом размещении исполни…
28 июл '18 в 05:39
1
ответ
Завершение в многопоточном Java-редакторе Producer Consumer
Я делаю некоторые упражнения с функциями многопоточности и параллелизма Java. У меня 1 производитель и 4 потребителя. Теперь мои вопросы: есть ли какой-нибудь более умный способ остановить потребителей, когда я уверен, что производитель закончил про…
04 фев '15 в 09:34
4
ответа
ExecutorService никогда не останавливается. Когда выполнить новое задание внутри другого выполняющегося задания
Добрый день. У меня проблема с блокировщиком в моем проекте веб-сканера. Логика проста. Первый создает один Runnable, он загружает HTML-документ, сканирует все ссылки, а затем по всем финансируемым ссылкам создает новые Runnable объекты. Каждый новы…
12 авг '16 в 10:13