Как выделить 16 ядер и 64 ГБ ОЗУ в локальном режиме spark 2.0.2?
Я новичок в использовании spark и пытаюсь вычислить огромные данные и отправить их в целевую базу данных. Объем файла данных составляет около 3 ГБ, и я доступен на сервере "1 ЦП, физические 16 ядер (32 логических ядра), 64 ГБ ОЗУ".
Чтобы вычислить мои данные и передать их в целевую БД, я касаюсь spark-env.sh в папке conf и добавляю две строки "spark_executor_memory=4g spark_driver_memory 4g", а также планирую использовать целые ядра. (то есть)local[*] в моем коде модели, но интересно, какое ядро, между физическим и логическим, близко к искре
Перед этим я упаковал свой логический файл, содержащий ".jars". Я отправляю свой jar-файл несколько раз, но он не работает, и я замечаю, что во-первых есть ошибки "Ограничение накладных расходов GC" -> не знаю, почему он подписывает Второй "heartBeatResponse(false)" -> это происходит при перетасовке groupBy или передаче Сервер БД Я до сих пор запутался, как настроить свечи в момент локального режима. Действительно надеется, что кто-нибудь даст решение, чтобы разобраться с этим.