Intel Contribui com Aceleração de IA para PyTorch 2.0

No lançamento do Python 2.0, contribuições da Intel usando a Intel® Extension for PyTorch , oneAPI Deep Neural Network Library (oneDNN) e suporte adicional para CPUs Intel® permitem que desenvolvedores otimizem o desempenho de inferência e treinamento para inteligência artificial (IA).

Como parte da pilha de compilação PyTorch 2.0, a otimização do backend do TorchInductor CPU pela Intel Extension para PyTorch e PyTorch ATen CPU alcançou um desempenho de inferência FP32 até 1,7 vezes mais rápido quando benchmark com o TorchBench, HuggingFace e timm. ¹ Esta atualização traz melhorias de desempenho notáveis para compilação de gráficos sobre o modo ansioso por PyTorch.

Outras otimizações incluem:

• Melhoria na passagem de mensagens entre nós de rede neural adjacentes para oferecer suporte àrede neural de gráficos em PyTorch Geometric (PyG) para treinamento aprimorado de inferência e desempenho em CPUs Intel®
• O novo backend de quantização x86 – uma combinação de FBGEMM (Multiplicação geral de matriz-matriz do Facebook) e backends oneDNN – substitui o FBGEMM como o backend de quantização padrão para plataformas de CPU x86 para permitir um melhor desempenho de inferência de ponta a ponta com 8.
• Uso estendido de oneDNN com API de gráfico oneDNN para maximizar a geração de código eficiente em hardware de IA, identificando automaticamente as partições de gráficos a serem aceleradas através da fusão. Os tipos de dados BFloat16 e Float32 são suportados e apenas cargas de trabalho de inferência podem ser otimizadas; O BF16 é otimizado apenas em máquinas com suporte AVX512_BF16 ISA.

Mais: Leia o blog de anúncio completo "Celebrate PyTorch* 2.0 com novos recursos de desempenho para desenvolvedores de IA".

¹ _{Consulte https://github.com/pytorch/pytorch/issues/93531#issuecomment-1457373890, Painel de desempenho para precisão float32 – multi-threads de soquete único (versão noturna 2023-03-05).}

_{Avisos legais e isenções de responsabilidade
Os resultados de desempenho são baseados em testes realizados nas datas especificadas nas configurações e podem não incluir todas as atualizações disponíveis publicamente. Consulte o backup para obter detalhes de configuração.
A Intel não controla ou audita dados de terceiros. Você deve consultar outras fontes para avaliar a precisão.}