Habana Labs da Intel lança processadores de IA de segunda geração para treinamento e inferência

O processador Habana Gaudi2 demonstra duas vezes o rendimento sobre a GPU A100 da Nvidia.

Uma foto mostra o Cartão Mezanino Habana Gaudi2. Em 10 de maio de 2022, a Habana Labs, equipe de data center da Intel focada em tecnologias de processadores de deep learning de IA, lançou seus processadores de aprendizado profundo de segunda geração para treinamento e inferência: Habana Gaudi2 e Habana Greco. (Crédito: Intel Corporation)

Quais as novas: Hoje na Intel Vision, a Intel anunciou que a Habana Labs, sua equipe de data center focada em tecnologias de processadores de aprendizagem profunda de IA, lançou seus processadores de aprendizado profundo de segunda geração para treinamento e inferência: Habana® Gaudi2® Habana® Greco™. Esses novos processadores abordam uma lacuna do setor, fornecendo aos clientes opções de computação de aprendizagem profunda de alto desempenho e alta eficiência para trabalhos de trabalho de treinamento e implantações de inferência no data center, ao mesmo tempo em que reduzem a barreira de IA à entrada de empresas de todos os tamanhos.

"O lançamento dos novos processadores de deep learning da Habana é um exemplo primordial da execução da Intel em sua estratégia de IA para dar aos clientes uma ampla gama de opções de soluções – da nuvem ao borda – abordando o número crescente e a natureza complexa das cargas de trabalho de IA. A Gaudi2 pode ajudar os clientes da Intel a treinar cargas de trabalho de aprendizagem profunda cada vez maiores e complexas com velocidade e eficiência, e estamos antecipando as eficiências de inferência que a Greco trará."

–Sandra Rivera, vice-presidente executiva da Intel e gerente geral do Datacenter e grupo de IA

Por que importa: Os novos processadores Gaudi2 e Greco são construídos para aplicações de aprendizagem profunda de IA, implementados em tecnologia de 7 nanômetros e fabricados na arquitetura de alta eficiência da Habana. Na Intel Vision, a Habana Labs revelou que o desempenho de throughput de treinamento da Gaudi2 para o modelo de visão computacional ResNet-50 e o modelo de processamento de linguagem natural BERT oferece o dobro do throughput de treinamento sobre a GPU Nvidia A100-80GB.

Gaudi2 entrega ~2x vs. A100 em Modelos Populares Vision & NLP (Crédito: Intel Corporation)

"Em comparação com a GPU A100, implementada no mesmo nó de processo e aproximadamente o mesmo tamanho de dado, a Gaudi2 oferece um desempenho claro de treinamento de liderança como demonstrado com a comparação maçã-a-maçã em cargas de trabalho-chave", disse Eitan Medina, diretor de operações da Habana Labs. "Essa arquitetura de aceleração de aprendizagem profunda é fundamentalmente mais eficiente e apoiada com um forte roteiro."

Sobre Gaudi2

Os processadores de aprendizagem profunda Gaudi2 oferecem:

  • Eficiência de treinamento de aprendizagem profunda: O processador Habana Gaudi2 aumenta significativamente o desempenho do treinamento, baseando-se na mesma arquitetura Gaudi de primeira geração de alta eficiência que oferece um desempenho de preço até 40% melhor na nuvem AWS com instâncias Amazon EC2 DL1 e no local com o Supermicro Gaudi Training Server. Com um salto em processo de 16 nm Gaudi para 7 nm, gaudi2 fornece um aumento significativo para seus recursos de computação, memória e rede. Gaudi2 também introduz um mecanismo integrado de processamento de mídia para mídia compactada e descarregamento do subsistema host. Gaudi2 triplica a capacidade de memória no pacote de 32GB para 96GB de HBM2E a 2,45 TB/seg, e integra NICs de RDMA RoCE de 24 x 100GbE, on-chip, para dimensionamento e dimensionamento usando ethernet padrão.
  • Benefícios para o cliente: A Gaudi2 oferece aos clientes uma alternativa de treinamento de aprendizagem profunda de maior desempenho à aceleração baseada em GPU existente, o que significa que eles podem treinar mais e gastar menos, ajudando a reduzir o custo total de propriedade na nuvem e no data center. Construído para atender a muitos tipos de modelos e aplicativos de mercado final, os clientes podem se beneficiar do tempo de treino mais rápido da Gaudi2, o que pode resultar em tempo de visão mais rápido e tempo de mercado mais rápido. Gaudi2 foi projetado para melhorar significativamente a modelagem da visão de aplicações usadas em veículos autônomos, imagem médica e detecção de defeitos na fabricação, bem como aplicações de processamento de linguagem natural.
  • Capacidade de rede, flexibilidade e eficiência: A Habana tornou econômico e fácil para os clientes ampliar a capacidade de treinamento, ampliando a largura de banda de treinamento na Gaudi de segunda geração. Com a integração do RoCE padrão do setor no chip, os clientes podem facilmente dimensionar e configurar sistemas Gaudi2 para atender às suas necessidades de cluster de aprendizagem profunda. Com a implementação do sistema em conectividade Ethernet padrão do setor amplamente utilizada, a Gaudi2 permite que os clientes escolham entre uma ampla gama de equipamentos de comutação Ethernet e de rede relacionados, permitindo uma redução de custos. Evitar tecnologias proprietárias de interconexão no data center (como são oferecidas pela concorrência) é importante para os tomadores de decisão de TI que querem evitar o "lock-in" do único fornecedor. A integração on-chip das portas nic (Networking Interface Controller, controlador de interface de rede) também reduz os custos dos componentes.
  • Construção e migração de modelos simplificados: O conjunto de software Habana® SynapseAI® é otimizado para o desenvolvimento de modelos de aprendizagem profunda e para facilitar a migração de modelos baseados em GPU existentes para hardware de plataforma Gaudi. O software SinapseAI suporta modelos de treinamento em Gaudi2 e inferenciando-os em qualquer alvo, incluindo processadores Intel® Xeon®, Habana Greco ou o próprio Gaudi2. Os desenvolvedores são suportados com documentação e ferramentas, conteúdo de como fazer e um fórum de suporte à comunidade no Site de Desenvolvedores Habana com modelos de referência e roteiro de modelos no Habana GitHub. Começar com a migração do modelo é tão fácil quanto adicionar duas linhas de código; para usuários especializados que desejam programar seus próprios kernels, a Habana oferece o conjunto completo de ferramentas.
  • Sobre a disponibilidade de soluções de treinamento Gaudi2: Os processadores Gaudi2 já estão disponíveis para os clientes da Habana. A Habana fez uma parceria com a Supermicro para trazer o Supermicro Gaudi2 Training Server ao mercado este ano. Habana também se uniu à DDN® para fornecer soluções em nível de rack turnkey com o servidor Supermicro com capacidade aumentada de armazenamento de IA com o emparelhamento da solução de armazenamento DDN AI400X2.

O que clientes e parceiros estão dizendo:

Mobileye:"Como líder mundial em sistemas de assistência automotiva e de condução, treinar modelos de aprendizado profundo de ponta para tarefas como detecção e segmentação de objetos que permitem que os veículos senseam e entendam seus arredores é uma missão crítica para os negócios e a visão da Mobileye", disse Gaby Hayon, vice-presidente executiva de P&D da Mobileye. "Como o treinamento desses modelos é demorado e caro, várias equipes em mobileye optaram por usar máquinas de treinamento aceleradas pela Gaudi, seja em instâncias DoM EC2 DL1 da Amazon ou no prem. Essas equipes veem consistentemente uma redução significativa de custos em relação às instâncias baseadas em GPU existentes em todos os tipos de modelos, permitindo-lhes alcançar um tempo de tempo muito melhor para os modelos existentes ou treinar modelos muito maiores e complexos destinados a explorar as vantagens da arquitetura Gaudi. Estamos entusiasmados em ver o salto de desempenho da Gaudi2, já que nossa indústria depende da capacidade de ultrapassar os limites com aceleradores de treinamento de alto desempenho de alto desempenho."

Leidos: "O P&D de ritmo rápido necessário para domar o COVID demonstra uma necessidade urgente que nossos clientes de ciências médicas e de saúde têm para um treinamento rápido e eficiente de aprendizagem profunda de conjuntos de dados de imagem médica – quando horas e até minutos contam – para desbloquear causas e curas de doenças", Chetan Paul, vice-presidente de Inovação Tecnológica, Soluções governamentais de saúde e segurança na Leidos. "Esperamos que o Gaudi2, baseado na velocidade e na eficiência de custo da Gaudi de primeira geração, forneça aos clientes um treinamento de modelo dramaticamente acelerado, preservando a eficiência de DL que experimentamos com a Primeira Geração Gaudi."

Supermicro: "Estamos entusiasmados em trazer nosso servidor de aprendizado profundo de IA de última geração ao mercado com o processador Gaudi2 de alto desempenho de 7 nm que permitirá que nossos clientes obtenham vantagens mais rápidas de tempo para treinar, preservando a eficiência e expandindo a escalabilidade da primeira geração da Gaudi", disse Charles Liang, CEO da Supermicro.

DDN:"Parabenizamos Habana pelo lançamento de seu novo acelerador Gaudi2 de alto desempenho, de 7 nm. Estamos ansiosos para colaborar na solução de IA turnkey que consiste em nosso dispositivo de armazenamento DDN AI400X2 combinado com servidores de treinamento Supermicro Gaudi2 para ajudar empresas com grandes e complexas cargas de trabalho de aprendizagem profunda a desbloquear valor significativo dos negócios com armazenamento simples, mas poderoso", disse Paul Bloch, presidente e co-fundador da DataDirect Networks.

Mais Contexto: Habana Labs lança processador de treinamento de aprendizagem profunda Gaudi2 (Ficha técnica) | Habana Gaudi2 (White Paper) | Intel Vision 2022 (Press Kit) | Keynote Intel Vision 2022 (Livestream) | Intel Vision 2022: Keynote do dia 1 (Blog ao vivo) | Intel anuncia novas tecnologias em nuvem para resolver desafios de hoje e amanhã (notícias)

A pequena impressão:

Para obter cargas de trabalho e configurações, visite a seção Visão em www.intel.com/PerformanceIndex. Os resultados podem variar.