Como gerar um mapa de calor usando OpenVINO™

Uma técnica de geração de mapa de calor, como propagação de relevância em camadas ou Grad-CAM , pode ser implementada usando OpenVINO™?

Os heatmaps podem ser usados para visualizar o processo de tomada de decisão de redes neurais.

Para gerar heatmaps na OpenVINO™, é necessário:

1. Acesse os mapas de recursos de saída da camada convolucional alvo e dos pesos correspondentes.

   Nota	Isso pode ser feito por meio da chamada da função model.add_outputs() ao inicializar a rede na API OpenVINO™ 2.0+ (substitui a cnnnet obsoleta: addOutput()).

2. Depois de executar a inferência, calcule a soma ponderada dos pesos com os mapas de recursos para gerar o Mapa de ativação de classe.

3. Para implementação de Grad-CAM, gradientes de computação da classe-alvo em relação aos mapas de recursos, então multiplicam os gradientes pelos mapas de recursos.

4. Aplicar Ativação da ReLU para remover valores negativos e normalizar o heatmap resultante.

5. Redimensione o mapa de calor para corresponder às dimensões da imagem de entrada e sobrepor-o na imagem original para visualização.

Etapas adicionais:

• Use model.get_ops() para identificar os nomes de camada disponíveis.
• Aplique mapeamento de cores (por exemplo, cv2.COLORMAP_JET) para melhor visualização.
• Normalize os valores de heatmap entre 0-1 antes da visualização.