Intel Gaudi 2 continua sendo a única alternativa de benchmark ao NV H100 para desempenho em GenAI

Os mais recentes resultados do MLPerf para o acelerador Intel Gaudi 2 e Intel Xeon de 5ª geração demonstram como a Intel está elevando o nível de desempenho de IA generativa em todo o seu portfólio e com seus parceiros de ecossistema.

Notícias

  • 27 de março de 2024

  • Entre em contato com o PR da Intel

  • Siga a Intel Newsroom nas redes sociais:

    Logotipo do Twitter
    Ícone do YouTube

author-image

Por

O que há de novo: Hoje, a MLCommons publicou resultados do parâmetro de referência padrão do setor MLPerf v4.0 para inferência. Resultados da Intel para aceleradores Intel® Gaudi® 2 e processadores escaláveis ​​Intel® Xeon® de 5ª geração com Intel® Advanced Matrix Extensions (Intel® AMX) reforçam o compromisso da empresa de trazer "IA para todos os lugares" com um amplo portfólio de soluções competitivas. O acelerador de IA Intel Gaudi 2 continua sendo a única alternativa de benchmark à Nvidia H100 para desempenho de IA gerativa (GenAI) e oferece forte desempenho por dólar. Além disso, a Intel continua sendo a única fornecedora de CPU para servidor a enviar resultados de MLPerf. Os resultados do Xeon de 5ª geração da Intel melhoraram em média 1,42x em comparação com os resultados dos processadores Intel® Xeon® de 4ª geração no MLPerf Inference v3.1.

"Continuamos a melhorar o desempenho da IA em parâmetros de referência padrão do setor em nosso portfólio de aceleradores e CPUs. Os resultados de hoje demonstram que estamos oferecendo soluções de IA que atendem aos requisitos de IA dinâmicos e abrangentes de nossos clientes. Os produtos Intel Gaudi e Xeon oferecem aos nossos clientes opções que estão prontas para serem implantadas e oferecem fortes vantagens de preço para desempenho".

–Zane Ball, vice-presidente corporativo e gerente geral da Intel para gerenciamento de produtos de DCAI

Por que importa: Com base em seu desempenho de treinamento e inferência das rodadas anteriores do MLPerf, os resultados do MLPerf da Intel fornecem aos clientes benchmarks padrão do setor para avaliar o desempenho da IA.

Sobre os resultados do Intel Gaudi 2: O pacote de software Intel® Gaudi® continua a aumentar a cobertura do modelo de modelos populares de modelos de linguagem grande (LLMs, em inglês) e modelos multimodal. Para o MLPerf Inference v4.0, a Intel submeteu os resultados do acelerador Gaudi 2 para modelos de última geração Stable Diffusion XL e Llama v2-70B.

Devido à forte demanda do cliente por Hugging Face Text Generation Inference (TGI), os resultados da Llama da Gaudi utilizaram o kit de ferramentas TGI, que suporta o agrupamento contínuo e o paralelismo tensor, aumentando a eficiência do dimensionamento real de LLMs. Para Llama v2-70B, o Gaudi 2 entregou 8035.0 e 6287.5 para tokens de servidor off-line e de servidor por segundo, respectivamente. Em Stable Diffusion XL, a Gaudi 2 apresentou 6,26 e 6,25 para amostras offline por segundo e consultas ao servidor por segundo, respectivamente. Com esses resultados, o Intel Gaudi 2 continua a oferecer preço/desempenho atraentes, uma consideração importante ao olhar para o custo total de propriedade (TCO).

Sobre os resultados do Xeon de 5ª Geração da Intel: Após as melhorias de hardware e software, os resultados do Xeon de 5ª Geração da Intel melhoraram em uma média geométrica de 1,42x em comparação com os resultados dos processadores de Intel Xeon de 4ª Geração em MLPerf Inference v3.1. Como exemplo, para GPT-J com otimizações de software, incluindo processamento de lotes contínuos, o envio do Xeon de 5ª Geração apresentou ganhos de desempenho de cerca de 1,8x em comparação com o envio v3.1. Da mesma forma, o DLRMv2 mostrou cerca de 1,8x ganhos de desempenho e precisão de 99,9 devido à MergedEmbeddingBag e outras otimizações utilizando Intel AMX.

A Intel está orgulhosa de sua colaboração com parceiros OEM — Cisco, Dell, Quanta, Supermicro e WiWynn — para entregar suas próprias submissões para MLPerf. Além disso, a Intel enviou resultados de MLPerf para quatro gerações de produtos Xeon, a partir de 2020, e o Xeon é a CPU host para muitas submissões de aceleradores.

Como experimentar soluções de IA em Intel Developer Cloud: processadores Xeon de 5ª Geração e aceleradores Intel Gaudi 2 estão disponíveis para avaliação na Intel® Developer Cloud. Nesse ambiente, os usuários podem executar cargas de trabalho de treinamento em pequena e grande escala (LLM ou GenAI) e de produção de inferência em escala, gerenciar recursos de computação de IA e muito mais.

O que vem a seguir: Ajuste para o Intel Vision 2024, onde a Intel compartilhará mais sobre sua estratégia para trazer "IA para todos os lugares", juntamente com uma atualização sobre os aceleradores de IA Intel Gaudi 3.

Mais contexto: anúncio do MLCommons

As letras miúdas:

Para cargas de trabalho e configurações, acesse MLCommons.org. Os resultados podem variar.