ID do artigo: 000088030 Tipo de conteúdo: Solução de problemas Última revisão: 15/05/2023

Por que a aplicação de pesos diferentes em um modelo afeta o desempenho de inferência?

BUILT IN - ARTICLE INTRO SECOND COMPONENT
Resumo

Troca de uso de diferentes formatos de dados e peso

Descrição
  1. Gere dois arquivos de IR (arquivo .xml idêntico, mas arquivos .bin diferentes)
  2. Um modelo semelhante com pesos diferentes rodam em diferentes fps (27fps e 6fps)
  3. Os pesos mais diversos afetam o desempenho de inferência na Myriad X?
Resolução

Pesos e precisão do modelo (FP32, FP16, INT8) afetam o desempenho de inferência.

O uso do formato FP32 resultaria na distribuição completa do peso e é conhecido como um único ponto flutuante de precisão.

Enquanto isso, os formatos FP16 e INT8 são formatos de peso comprimido, onde são espremidos para serem menores de tamanho. A troca dessas compressões é a precisão do modelo ou também conhecida como erro de quantização.

Quando mais bits alocados para representar dados, maior a faixa que eles podem representar e, potencialmente, a melhor precisão do modelo. No entanto, dados maiores exigem espaço de memória maior para seu armazenamento, largura de banda de memória mais alta necessária para transferi-lo e mais recursos de computação e tempo sendo usados.

Os Distribuição Intel® do kit de ferramentas OpenVINO™ de benchmark mostram diferenças óbvias em termos de desempenho entre diferentes formatos de peso ou precisão.

Produtos relacionados

Este artigo aplica-se a 2 produtos

O conteúdo desta página é uma combinação de tradução humana e por computador do conteúdo original em inglês. Este conteúdo é fornecido para sua conveniência e apenas para informação geral, e não deve ser considerado completo ou exato. Se houver alguma contradição entre a versão em inglês desta página e a tradução, a versão em inglês prevalecerá e será a determinante. Exibir a versão em inglês desta página.