Carregar um modelo na Unidade de processamento visual (VPU) pode demorar mais do que o carregamento na CPU

• O tempo para carregar um modelo para a Unidade de processamento visual (VPU) é maior do que carregar o modelo na CPU.
• Código usando API Python: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

Para reduzir o tempo de carga, carregue o modelo do Blob, que é um gráfico analisado, para ignorar o estágio de análise do modelo.

1. Gere o arquivo Blob antecipadamente antes de carregar usando um dos seguintes métodos:
   • Gere o Blob usando a ferramenta myriad_compile na linha de comando:
     1. A ferramenta pré-configurada está disponível no Distribuição Intel® do kit de ferramentas OpenVINO™. Você também pode clonar o kit de ferramentas OpenVINO de código aberto repo e construí-lo .
     2. Gerar Blob.
        Inferir-engine/bin/intel64/Release no caminho, execute um comando da seguinte forma: ./myriad_compile -m <model_name>.xml -o <output filename>
2. Importe o Blob no seu código usando a API Do núcleo do motor de inferência: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

Há dois processos internos ao carregar um modelo na VPU:

1. Gráfico de análise
2. Alocar gráfico

Durante o processo de carregamento, os gráficos de VPU analisados são enviados para o hardware, estágio a estágio, por xlink do host.

Carregar um modelo de uma mancha pode reduzir muito tempo para alguns modelos, mas pode não funcionar para todos os modelos.

Além do tamanho do modelo, o tempo de carregamento depende do tipo de camada, do tamanho dos dados de entrada e assim por diante.

O plug-in HDDL é mais eficiente do que o plugin MYRIAD ao carregar o modelo da Blob.

Execute este procedimento para habilitar o plug-in HDDL em vez do plug-in MYRIAD no Stick de computação neural Intel® 2:

1. Configure autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
2. Configure autoboot_settings:total_device_num to 1.
3. Iniciar hddldaemon.