OpenVINO™ de inferência aumenta ao executar vários processos

O tempo de inferência dobra ao executar dois processos para inferir o mesmo modelo.

• Usando OpenVINO™ para inferir um modelo.
• O tempo de inferência é de cerca de 300ms ao executar um único processo.
• Ao utilizar dois processos, o tempo de inferência para ambos os processos torna-se de 600 ms.

1. Adicione o seguinte comando no script main.cpp .

   ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")

2. Construa a demonstração.

• O valor padrão do KEY_CPU_BIND_THREAD config é SIM.
• No Linux*, isso faz com que os dois processos se vinguem ao mesmo núcleo da CPU e duplicam o tempo de inferência.
• Definir o KEY_CPU_BIND_THREAD configuração para NÃO desvincular threads de núcleos de CPU em Windows* e Linux*.

Consulte Parâmetros de configuração suportados para obter mais informações sobre os parâmetros de configuração do plugin da CPU.