OpenVINO™ tempo de inferência aumenta ao executar vários processos

O tempo de inferência dobra ao executar dois processos para inferir o mesmo modelo.

• Usando OpenVINO™ para inferir um modelo.
• O tempo de inferência é de cerca de 300 ms ao executar um único processo.
• Ao utilizar dois processos, o tempo de inferência para ambos os processos torna-se 600 ms.

1. Adicione a seguinte configuração no seu aplicativo.
   Python*: core.set_property("CPU", {ov.properties.hint.enable_cpu_pinning(False)})
   C++ : core.set_property("CPU", ov::hint::enable_cpu_pinning(false));
2. Construa a demonstração.

• O valor padrão do enable_cpu_pinning property is enabled (true or YES) on Linux* and disabled (false or NO) on Windows* and macOS*.
• No Linux, a configuração padrão do enable_cpu_pinning is enabled, which in some scenarios can cause multiple processes to bind to the same CPU core, potentially doubling inference time.
• Definindo a propriedade para false unbinds inferencing threads from specific CPU cores, allowing the operating system to schedule threads, which may be beneficial in applications with several parallel workloads.

Consulte Dicas de desempenho e Agendamento de thread para obter mais informações.