Passo rápido para melhorar o tempo de carga do modelo na GPU
Carregar uma representação intermediária (IR) de um modelo de entrada para GPU leva mais tempo do que carregar o mesmo modelo para uma CPU.
Crie manualmente cl_cache diretório no diretório de trabalho da sua aplicação.
O driver usará este diretório para armazenar as representações binárias dos kernels compilados. Isso funcionará em todas as OSes suportadas.
Consulte este artigo para obter mais informações sobre como gerenciar o cl_cache.
Carregar seu modelo de entrada em formato de Representação Intermediária (IR) para GPU leva mais tempo do que carregar o mesmo modelo para uma CPU porque a pilha da GPU é baseada no OpenCL*. O tempo de carga depende do tempo de compilação dos kernels OpenCL*.
Quando você habilitar o cl_cache, a primeira vez que carregar o modelo, ele ainda levará muito tempo porque o kernel OpenCL* será compilado. No entanto, cada carga subsequente do mesmo modelo será muito mais rápida.