Desempenho de inferência mais lento em Stick de computação neural Intel® 2 (Intel® NCS2) em comparação com a CPU

• Processador Intel® Core™ i7 usado para executar o benchmark_app.py com -m model.xml, com entrada aleatória gerada
• O desempenho no NCS2 é mais lento do que a CPU:

  Para o NCS2:
  [ INFO ] First inference took 33.88 ms
  [Step 11/11] Dumping statistics report
  Count: 2596 iterations
  Duration: 60141.63 ms
  Latency: 92.60 ms
  Throughput: 5525.09 FPS

  Para CPU:
  [ INFO ] First inference took 17.07 ms
  [Step 11/11] Dumping statistics report
  Count: 148124 iterations
  Duration: 60001.79 ms
  Latency: 1.61 ms
  Throughput: 315988.43 FPS

Espera-se que o desempenho da CPU seja melhor em comparação com Intel® NCS2 uma vez que a CPU tem mais potência de computação.

Intel® NCS2 é um dispositivo acelerador que ajudaria em certas situações, especialmente quando é necessária energia adicional de computação.

Além disso, a CPU requer o formato do modelo FP32, enquanto Intel® NCS2 requer o formato do modelo FP16. O FP16 pode ter um erro de quantização, pois é espremido de um modelo de precisão total para torná-lo menor. Isso afetaria a precisão e o desempenho.

Desempenho significa a velocidade com que o modelo está em implantação com duas métricas principais: latência e taxa de transferência.

No OpenVINO™, há duas abordagens para melhorar o desempenho:

Durante o desenvolvimento: ferramenta de otimização pós-treinamento (POT), estrutura de compressão de rede neural (NNCF), otimizador de modelo.

Durante a implantação: ajustando parâmetros de inferência e otimizando a execução do modelo.

é possível combinar as duas abordagens.

OpenVINO™ resultados de benchmark de desempenho

Escolha FP16, FP32 ou int8 para modelos de aprendizagem profunda

Guia de otimização de desempenho