Описание тега memory-overhead
1
ответ
Что на самом деле накладные расходы памяти в Java?
Я прочитал, что является "потреблением памяти объекта в java" и " что является объемом памяти" объекта в java. Но я все еще в замешательстве. Что такое накладные расходы памяти? это padding? Что такое JVM со сжатыми указателями? это reference?? Если…
12 окт '16 в 06:58
0
ответов
Как выделить 16 ядер и 64 ГБ ОЗУ в локальном режиме spark 2.0.2?
Я новичок в использовании spark и пытаюсь вычислить огромные данные и отправить их в целевую базу данных. Объем файла данных составляет около 3 ГБ, и я доступен на сервере "1 ЦП, физические 16 ядер (32 логических ядра), 64 ГБ ОЗУ". Чтобы вычислить м…
12 ноя '18 в 10:09
0
ответов
Каковы затраты памяти Swift при разборе JSON (но в целом тоже)?
У меня есть этот достаточно стандартный ADT в Swift, который я использую для анализа некоторых данных JSON, которые, по всем параметрам, очень похожи на эти структуры данных. Файл JSON представляет собой массив из примерно 155 тыс. Объектов, которые…
29 сен '17 в 15:45
1
ответ
Накладные расходы памяти Spark
Вопрос, связанный с накладными расходами памяти Spark, задавался несколько раз в SO, я рассмотрел большинство из них. Однако, просмотрев несколько блогов, я запутался. Ниже приведены вопросы, которые у меня есть являются ли накладные расходы памяти …
24 авг '20 в 15:39
0
ответов
Есть ли накладные расходы на file_get_contents со смещением и длиной по сравнению с разделением исходного файла и чтением этих отдельных файлов при необходимости?
У меня есть очень большой файл (50 ГБ), который я мог бы либо разделить на несколько файлов фрагментов размером 2 МБ, либо получить доступ с помощью file_get_contents, используя смещения и длину 2 МБ, где используемые смещения не обязательно непреры…
23 ноя '19 в 16:04
1
ответ
Valgrind: исполняемый файл не для этой архитектуры
Я пытаюсь найти накладные расходы памяти на мои исполняемые файлы cpp, созданные для архитектуры x86 и RISC с использованием Valgrind. Я успешно выполнил valgrind для исполняемого файла x86, но когда я пытаюсь использовать архитектуру RISC на машине…
15 авг '20 в 10:32
3
ответа
Ошибка IntelliJ: java.lang.OutOfMemoryError: превышен предел накладных расходов GC
Я использую Grails 2.5.0 на IntelliJ Idea Ultimate Edition 2020.2.2 . Он отлично компилирует и строит код, но продолжает выдавать ошибку "java.lang.OutOfMemoryError: превышен предел накладных расходов GC" (вся ошибка копируется и вставляется в конце…
21 сен '20 в 19:36
0
ответов
Распределение памяти Spark - сценарий в реальном времени
Я пытаюсь найти лучший способ использовать ресурсы кластера для выполнения искрового задания. Ниже приведены сведения о моем кластере: Общее количество активных узлов в кластере: 100 Общее количество ядер на каждом узле: 16 ядер Общее количество яде…
06 апр '21 в 09:43
2
ответа
Как я могу увеличить spark.driver.memoryOverhead в Google dataproc?
Я получаю два типа ошибок при выполнении задания в Google dataproc, и это приводит к тому, что исполнители теряются один за другим, пока не будет потерян последний исполнитель и задание не завершится сбоем. Я установил для своего главного узла значе…
30 апр '22 в 00:04