Por que a aplicação de pesos diferentes em um modelo afeta o desempenho de inferência?

1. Gere dois arquivos de IR (arquivo .xml idêntico, mas arquivos .bin diferentes)
2. Um modelo semelhante com pesos diferentes rodam em diferentes fps (27fps e 6fps)
3. Os pesos mais diversos afetam o desempenho de inferência na Myriad X?

Pesos e precisão do modelo (FP32, FP16, INT8) afetam o desempenho de inferência.

O uso do formato FP32 resultaria na distribuição completa do peso e é conhecido como um único ponto flutuante de precisão.

Enquanto isso, os formatos FP16 e INT8 são formatos de peso comprimido, onde são espremidos para serem menores de tamanho. A troca dessas compressões é a precisão do modelo ou também conhecida como erro de quantização.

Quando mais bits alocados para representar dados, maior a faixa que eles podem representar e, potencialmente, a melhor precisão do modelo. No entanto, dados maiores exigem espaço de memória maior para seu armazenamento, largura de banda de memória mais alta necessária para transferi-lo e mais recursos de computação e tempo sendo usados.

Os Distribuição Intel® do kit de ferramentas OpenVINO™ de benchmark mostram diferenças óbvias em termos de desempenho entre diferentes formatos de peso ou precisão.

Comparação entre INT8 e FP32 em redes e plataformas selecionadas

Escolha FP16, FP32 ou INT8 para o modelo de aprendizagem profunda.