Qual é a relação entre a complexidade de um modelo e sua taxa de transferência de inferência?

Não foi possível determinar por que a ferramenta de parâmetro de comparação relata FPS de inferência semelhante para dois modelos de complexidades muito diferentes, que é definido por Operações de Ponto Flutuante Giga (GFLOPs).

• Um número maior de FLOPs é diretamente proporcional a um número reduzido de FPS. No entanto, não há uma comparação justa entre o FPS e os FLOPs.
• Fatores que podem afetar o FPS obtido na Ferramenta de parâmetros de comparação:
  • Execute no modo síncrono e assíncrono
  • Número de streams
  • Número de solicitações de inferência