Por que escolher o modelo FP16 na compressão de peso usando o framework ideal de compressão de rede neural (NNCF)?
Tipo de conteúdo: Solução de problemas | ID do artigo: 000098174 | Última revisão: 21/03/2024
Não foi possível determinar o motivo de escolher o modelo FP16 na Compressão de peso usando Intel / NNCF otimizadas.
O FP16 de meia precisão, que metade do tamanho do modelo de precisão FP32, pode ter um resultado de inferência quase idêntico enquanto usa metade dos recursos da GPU.