Resumo
Passo rápido para vincular vários processos de inferência a diferentes CPUs
Descrição
O tempo de inferência dobra ao executar dois processos para inferir o mesmo modelo.
- Usando OpenVINO™ para inferir um modelo.
- O tempo de inferência é de cerca de 300ms ao executar um único processo.
- Ao utilizar dois processos, o tempo de inferência para ambos os processos torna-se de 600 ms.
Resolução
- Adicione o seguinte comando no script main.cpp .
ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- Construa a demonstração.
Outras informações
- O valor padrão do KEY_CPU_BIND_THREAD config é SIM.
- No Linux*, isso faz com que os dois processos se vinguem ao mesmo núcleo da CPU e duplicam o tempo de inferência.
- Definir o KEY_CPU_BIND_THREAD configuração para NÃO desvincular threads de núcleos de CPU em Windows* e Linux*.
Consulte Parâmetros de configuração suportados para obter mais informações sobre os parâmetros de configuração do plugin da CPU.