Intel quebra paredes proprietárias para trazer escolha ao mercado de GenAI empresarial

O acelerador de IA Intel Gaudi 3 oferece opções para empresas globais para IA gerativa, com base no desempenho e escalabilidade de seu antecessor Gaudi 2.

Notícias

  • 9 de abril de 2024

  • Entre em contato com o PR da Intel

  • Siga a Intel Newsroom nas redes sociais:

    Logotipo do Twitter
    Ícone do YouTube

author-image

Por

O que há de novo: A Intel Vision a Intel apresenta o acelerador de IA Intel® Gaudi® 3, que oferece 4x IA computacional IA para BF16, aumento de 1,5x na largura de banda de memória e 2x largura de banda de rede para grande escala de sistema em comparação com seu antecessor, um salto significativo em desempenho e produtividade para treinamento de IA e inferência em modelos de linguagem grande (LLMs) populares e modelos multimodal. Com base no desempenho comprovado e na eficiência do acelerador de IA Intel® Gaudi® 2 , a única alternativa com parâmetros de comparação do MLPerf para LLMs no mercado, a Intel oferece aos clientes uma opção com software aberto de base comunitária e rede Ethernet padrão do setor para escalar seus sistemas com mais flexibilidade.

"No cenário em constante evolução do mercado de IA, uma lacuna significativa persiste nas ofertas atuais. O feedback de nossos clientes e do mercado mais amplo ressalta o desejo de uma maior escolha. As empresas pesam considerações como disponibilidade, escalabilidade, desempenho, custo e eficiência energética. O Intel Gaudi 3 se destaca como a alternativa GenAI que apresenta uma atraente combinação de desempenho de preços, escalabilidade do sistema e vantagem do tempo de retorno".

— Justin Hotard, vice-presidente executivo e gerente geral da Intel para data center e grupo de IA

Por que importa: Atualmente, empresas de todos os setores críticos, como finanças, manufatura e saúde, estão buscando rapidamente ampliar a acessibilidade à IA e a transição de projetos de IA generativa (GenAI), de fases experimentais a implementação em escala total. Para gerenciar essa transição, alimentar a inovação e obter metas de crescimento de receita, as empresas exigem soluções e produtos abertos, econômicos e mais eficientes em termos energéticos que atendam às necessidades de retorno sobre investimento (ROI) e eficiência operacional.

O acelerador Intel Gaudi 3 atenderá a esses requisitos e oferecerá versatilidade por meio de software aberto baseado na comunidade e Ethernet aberta padrão do setor, ajudando as empresas a escalar seus sistemas e aplicações de IA de forma flexível.

Como a arquitetura personalizada oferece desempenho e eficiência do GenAI: O acelerador Intel Gaudi 3, projetado para computação de IA em larga escala eficiente, é fabricado com um processo de 5 nanômetros (nm) e oferece avanços significativos em relação ao seu antecessor. Ele foi projetado para permitir a ativação de todos os motores em paralelo, com o Mecanismo de Multiplicação de Matriz (MME), Núcleos de Processador Tensor (TPCs) e Placas de Interface de Rede (NICs) — permitindo a aceleração necessária para computação e escala rápidas e eficientes de aprendizagem profunda. Suas principais características são:

  • Mecanismo de computação dedicado a IA: O acelerador Intel Gaudi 3 foi projetado para computação GenAI de alto desempenho e alta eficiência. Cada acelerador possui de forma única um mecanismo de computação heterogêneo composto por TPCs personalizados e programáveis de 64 IA e oito MMEs. Cada Intel Gaudi 3 MME é capaz de realizar impressionantes 64.000 operações paralelas, permitindo um alto grau de eficiência computacional, tornando-os adeptos ao lidar com operações complexas de matrizes, um tipo de computação que é fundamental para algoritmos de aprendizagem profunda. Este projeto exclusivo acelera a velocidade e a eficiência das operações de IA paralelas e suporta vários tipos de dados, incluindo FP8 e BF16.

  • Boost de memória para requisitos de capacidade de LLM: 128 gigabytes (GB) de capacidade de memória HBMe2, 3,7 terabytes (TB) de largura de banda de memória e 96 megabytes (MB) de memória de acesso aleatório estático integrado (SRAM) fornecem ampla memória para processar grandes conjuntos de dados GenAI em menos Intel Gaudi 3s, particularmente útil para atender grandes modelos de linguagem e multimodal, resultando em maior desempenho da carga de trabalho e eficiência do custo do data center.

  • Dimensionamento eficiente do sistema para Enterprise GenAI: Vinte e quatro portas Ethernet de 200 gigabits (Gb) estão integradas a cada acelerador Intel Gaudi 3, fornecendo redes flexíveis e de padrão aberto. Elas permitem um escalonamento eficiente para suportar grandes clusters de computação e eliminar o bloqueio do fornecedor de malhas de rede proprietárias. O acelerador Intel Gaudi 3 é projetado para ampliar-se e ampliar-se eficientemente de um único nó a milhares de nós para atender aos requisitos expansivos dos modelos GenAI.

  • Software do setor aberto para produtividade de desenvolvedores: O software Intel Gaudi integra o framework PyTorch e oferece modelos otimizados baseados na comunidade hugging face, o framework de IA mais comum para desenvolvedores de GenAI de hoje. Isso permite que os desenvolvedores GenAI operem em um alto nível de abstração para facilidade de uso e produtividade e facilidade de portabilidade de modelos em diferentes tipos de hardware.

  • Gaudi 3 PCIe: A nova linha de produtos é a placa adicional Gaudi 3 peripheral component interconnect express (PCIe). Criado sob medida para trazer alta eficiência com baixo consumo de energia, este novo fator de forma é ideal para cargas de trabalho, como ajuste fino, inferência e geração aumentada de recuperação (RAG). Ele é equipado como um dispositivo de altura completa a 600 watts, com capacidade de memória de 128 GB e largura de banda de 3,7 TB por segundo.

O acelerador Intel Gaudi 3 oferecerá melhorias significativas de desempenho para tarefas de treinamento e inferência em modelos GenAI líderes. Especificamente, o acelerador Intel Gaudi 3 é projetado para oferecer em média em comparação com o Nvidia H100:

 

  • Tempo de treinamento 1 50% mais rápido através dos parâmetros Llama2 7B e 13B, e modelos de parâmetros GPT-3 175B.
  • Inferência 2 e 40% mais rápida com eficiência energética de inferência3 em parâmetros Llama 7B e 70B, além de modelos de parâmetros Falcon 180B. Uma vantagem de desempenho de inferência ainda maior em sequências mais longas de entrada e saída.
  • Inferência 30% mais rápida4 nos parâmetros Llama 7B e 70B, e modelos de parâmetros Falcon 180B em relação à Nvidia H200.

 

Sobre a adoção e disponibilidade do mercado: O acelerador Intel Gaudi 3 estará disponível para fabricantes de equipamentos originais (OEMs) no segundo trimestre de 2024 em configurações padrão do setor de placa base universal e módulo acelerador aberto (OAM). Entre os notáveis adotantes de OEM que trazerão o Gaudi 3 ao mercado estão Dell Technologies, HPE, Lenovo e Supermicro. A disponibilidade geral dos aceleradores Intel Gaudi 3 está prevista para o terceiro trimestre de 2024 e a placa de expansão PCIe Gaudi 3 da Intel Gaudi 3 está prevista para estar disponível no último trimestre de 2024.

O acelerador Intel Gaudi 3 também capacitará várias infraestruturas LLM em nuvem econômicas para treinamento e inferência, oferecendo vantagens e escolhas de preço-desempenho para organizações que agora incluem a NAVER.

Os desenvolvedores podem começar hoje com acesso a instâncias baseadas em Intel Gaudi 2 na nuvem de desenvolvedores para aprender, prototipar, testar e executar aplicações e cargas de trabalho

O que vem a seguir: O impulso dos aceleradores Intel Gaudi 3 será fundamental para Falcon Shores, a unidade de processamento gráfico (GPU) de última geração da Intel para IA e computação de alto desempenho (HPC). Falcon Shores integrarão a propriedade intelectual (IP) Intel Gaudi e Intel® Xe com uma única interface de programação de GPU baseada na especificação Intel® oneAPI.

Mais contexto: A Intel libera IA empresarial com Gaudi 3, estratégia de sistemas abertos de IA e novas vitórias para clientes (notícias) | Acelerador de IA Intel Gaudi 3 (página do produto) | Acelerador de IA Intel Gaudi 3 (publicação técnica) | O Intel Gaudi 2 permanece apenas como uma alternativa parâmetro de comparação para o NV H100 para o desempenho do GenAI (Notícias)

As letras miúdas:

A Intel não controla ou audita dados de terceiros. Você deve consultar outras fontes para avaliar a precisão.

Comparação de 1 NV H100 com base em: https://developer.nvidia.com/deep-learning-performance-training-inference/training, Março de 2024 com a guia "Large Language Model" em comparação com projeções da Intel® Gaudi® 3 para LLAMA2-7B, LLAMA2-13B e GPT3-175B em 28/3/2024. Os resultados podem variar

Comparação de 2 NV H100 com base em https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , 28 de março de 2024. Os números relatados são de acordo com a GPU. Em comparação com projeções do Intel® Gaudi® 3 para PROJEções LLAMA2-7B, LLAMA2-70B e Falcon 180B. Os resultados podem variar.

Comparação de 3 NV com base em https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , 28 de março de 2024. Os números relatados são de acordo com a GPU. Em comparação com as projeções Intel® Gaudi® 3 para LLAMA2-7B, LLAMA2-70B e eficiência de energia Falcon 180B para Nvidia e Gaudi 3 com base em estimativas internas. Os resultados podem variar.

Comparação de 4 NV H200 com base em https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , 28 de março de 2024. Os números relatados são de acordo com a GPU. Em comparação com projeções do Intel® Gaudi® 3 para PROJEções LLAMA2-7B, LLAMA2-70B e Falcon 180B. Os resultados podem variar.