O que há de novo: Hoje, a MLCommons lançou seus mais recentes benchmarks MLPerf Inference v5.1, apresentando resultados em 6 benchmarks principais para sistemas de GPU da Intel com Intel® Xeon® com núcleos P e gráficos Intel® Arc™ Pro B60, estações de trabalho de inferência com o codinome Project Battlematrix. No Llama 8B, o Intel Arc Pro B60 oferece vantagens de desempenho por dólar de até 1,25x e até 4x em comparação com NVIDIA RTX Pro 6000 e L40S, respectivamente.¹ Os resultados ressaltam o desempenho e a acessibilidade de uma plataforma totalmente Intel que aborda cargas de trabalho emergentes de inferência de IA em estações de trabalho de ponta e aplicativos de borda.
Por que é importante: Até agora, existiam opções limitadas para profissionais que priorizavam plataformas capazes de oferecer alto desempenho de inferência sem comprometer a privacidade dos dados ou incorrer em altos custos de assinatura vinculados a modelos proprietários de IA, mas exigiam recursos para implantar grandes modelos de linguagem (LLMs).
Esses novos sistemas de GPU Intel, codinome Project Battlematrix, são projetados para atender às necessidades da inferência de IA moderna e fornecer uma plataforma de inferência completa que combina hardware e software validados de pilha completa.
Os sistemas de GPU Intel visam simplificar a adoção e a facilidade de uso com uma nova solução em contêiner criada para ambientes Linux, otimizada para oferecer um desempenho de inferência incrível com dimensionamento de várias GPUs e transferências de dados PCIe P2P, e projetada para incluir recursos de confiabilidade e capacidade de gerenciamento de classe empresarial, como ECC, SRIOV, telemetria e atualizações remotas de firmware.
As CPUs continuam a desempenhar um papel vital nos sistemas de IA. Como hub de orquestração, a CPU lida com pré-processamento, transmissão e coordenação geral do sistema. As melhorias sustentadas da Intel no desempenho de IA baseado em CPU nos últimos quatro anos estabeleceram o Intel Xeon como a CPU preferida para hospedar e gerenciar cargas de trabalho de IA em sistemas alimentados por GPU.
A Intel também continua sendo o único fornecedor que envia resultados de CPU de servidor para o MLPerf, demonstrando liderança e um profundo compromisso em acelerar os recursos de inferência de IA em arquiteturas de computação e acelerador. Notavelmente, o Intel Xeon 6 com núcleos P alcançou uma melhoria de desempenho de 1,9x geração a geração no MLPerf Inference v5.1