Bazel-buildfarm - указание параллелизма воркера

Question

Я пытаюсь создать TensorFlow с помощью bazel-buildfarm. У меня есть сервер и настройка одного рабочего с использованием примеров конфигураций, доступных на https://github.com/bazelbuild/bazel-buildfarm (см.examples/каталог). Одинокий рабочий работает на 72-ядерной машине.

Проблема, с которой я сталкиваюсь, заключается в том, что как только я запускаю сборку, хотя цели сборки успешно отправляются рабочему, рабочий не использует все мои ядра (даже близко). Я пробовал явно установить--jobs=100 на клиенте, когда я запускаю сборку TensorFlow, но безрезультатно.

Есть ли у кого-нибудь идеи, как я могу заставить одного работника полностью использовать доступную ему вычислительную мощность? Нужно ли это явно указывать в файле конфигурации worker?

Answer 1

В файле конфигурации рабочего есть параметр, называемый execute_stage_width который можно использовать для указания степени параллелизма.

https://github.com/bazelbuild/bazel-buildfarm/blob/e5c8db954f98644036172f790b877513d682ac79/examples/worker.config.example