ID do artigo: 000058759 Tipo de conteúdo: Solução de problemas Última revisão: 06/09/2022

Conversão de modelos INT8 para Representação Intermediária (IR)

BUILT IN - ARTICLE INTRO SECOND COMPONENT
Resumo

Fluxo de otimização de modelos com OpenVINO

Descrição

No último parágrafo do Guia de otimização de baixa precisão, é mencionado o treinamento consciente de quantização. Ele diz que isso permite que um usuário obtenha um modelo otimizado preciso que pode ser convertido em IR. No entanto, não são fornecidos outros detalhes.

Resolução

O treinamento com conhecimento de quantização, usando OpenVINO™ estruturas de treinamento compatíveis, suporta modelos escritos em TensorFlow QAT ou PyTorch NNCF, com extensões de otimização.

O NNCF é uma estrutura baseada em PyTorch que suporta uma ampla variedade de modelos de Deep Learning para vários casos de uso. Ele também implementa treinamentos com reconhecimento de quantização que suportam diferentes modos e configurações de quantização e suporta vários algoritmos de compressão, incluindo quantização, binarização, esparsidade e podagem de filtros.

Quando o ajuste fino terminar, o modelo otimizado precisa pode ser exportado para o formato ONNX, que pode ser usado pelo Otimizador de Modelos para gerar arquivos de Representação Intermediária (IR) e posteriormente inferir com o mecanismo de inferência OpenVINO™.

Produtos relacionados

Este artigo aplica-se a 2 produtos

O conteúdo desta página é uma combinação de tradução humana e por computador do conteúdo original em inglês. Este conteúdo é fornecido para sua conveniência e apenas para informação geral, e não deve ser considerado completo ou exato. Se houver alguma contradição entre a versão em inglês desta página e a tradução, a versão em inglês prevalecerá e será a determinante. Exibir a versão em inglês desta página.