Арена оперативной памяти ONNX, повторное использование и шаблон

Question

Как описано в Python API Doc, в параметрах сеанса onnxruntime есть некоторые параметры, соответствующие конфигурациям памяти, например:

• enable_cpu_mem_arena
• enable_mem_usage
• enable_mem_pattern

Для них есть некоторые описания, но я не могу точно понять их использование и технические концепции, стоящие за ними.

Может ли кто-нибудь дать мне некоторую ясность об этих параметрах?

Answer 1

enable_mem_pattern

Включите оптимизацию шаблона памяти.

Идея состоит в том, что если входные формы одинаковы, мы могли бы отслеживать распределение внутренней памяти и генерировать шаблон памяти для будущих запросов. Так что в следующий раз мы могли бы просто сделать одно выделение с большим фрагментом для всего распределения внутренней памяти.

Примечание. Оптимизация шаблона памяти доступна только при включенном режиме последовательного выполнения (см. OrtApi::SetSessionExecutionMode).

enable_cpu_mem_arena

Включите арену памяти на ЦП.

Arena может предварительно выделить память для использования в будущем.

Информация на основе документа API:https://onnxruntime.ai/docs/api/c/struct_ort_api.html