Soluções Intel® Select para BigDL no Apache Spark

Acelere e simplifique o desenvolvimento e a implementação de aprendizado profundo em uma infraestrutura otimizada e verificada.
Exibir o resumo da solução ›

Configuração básica para soluções Intel® Select para BigDL no Apache Spark.

Componente

Soluções Intel® Select para BigDL no Apache Spark
Configuração básica

Mínimo de um nó mestre

Processador

Processador Intel® Xeon® Gold 6148 (2,40 GHz, 20 núcleos, 40 threads), processador Intel® Xeon® Gold 6248 (2,5 GHz, 20 núcleos) ou um número maior de processadores escalonáveis Intel® Xeon®

Memória

192 GB ou superior (12 DDR4-2666 de 16 GB)

Unidade de inicialização**

1 x SSD Intel® DC S4500/S4510 de 240 GB ou mais (M.2 ou 2,5 pol)

Controlador de HBA de armazenamento por nó**

Não aplicável (N/A)

Camada de dados

4 x SSDs Intel® DC série S4500/S4510 ou superior de 960 GB ou mais

Rede de dados

Adaptador de rede convergido Ethernet Intel® X722 de 10 GbE (Ethernet Intel® CNA X722)

Rede de gerenciamento por nó

Porta 0 de 1 GbE integrada/porta RMM

Mínimo de quatro nós de trabalhador

Processador

Processador Intel Xeon Gold 6148 (2,40 GHz, 20 núcleos, 40 threads), processador Intel Xeon Gold 6248 (2,5 GHz, 20 núcleos) ou processador Intel Xeon escalonável de número maior

Memória

384 GB ou superior (12 DDR4-2666 de 32 GB)

Unidade de inicialização**

1 x SSD Intel DC S4500/S4510 (M.2 ou 2,5 pol) ou superior de 240 GB ou mais

Controlador de HBA de armazenamento por nó**

N/D

Camada de dados

4 x SSDs Intel DC série S4500/S4510 ou superior de 3,8 TB ou mais

Rede de dados

Adaptador de rede convergido Ethernet Intel X722 de 10 Gb (Ethernet Intel CNA X722)

Rede de gerenciamento por nó

Porta 0 de 1 GbE integrada/porta RMM

Comutadores de rede

Comutador Top of the Rack (ToR)

Comutador de 48 portas de 10 Gbps

Comutador de gerenciamento

Comutador de 48 portas de 1 Gbps

Software

SO Linux

CentOS Linux versão 7.5.1804 ou Red Hat Enterprise Linux* (RHEL*) 7

Apache Spark

2.2.0

Apache Hadoop

2.7.3

Java Development Kit (JDK)

Oracle* JDK 1.8.0, atualização 181 ou posterior

BigDL

0,6

Analytics Zoo

0,2

Intel® Distribution for Python*

2,7

Biblioteca do kernel matemático Intel® (Intel® MKL)

Atualização 3 do Intel MKL versão 2018

Aplica-se a todos os nós

Módulo de plataforma segura (TPM)

TPM 1.2 separado ou TPM de firmware (Tecnologia confiável de plataforma Intel® [Intel® PTT])

Otimizações de software e firmware

Dispositivo de gerenciamento de volume Intel® (Intel® VMD) ativado**

Intel® Boot Guard ativado**

Tecnologia Hyper-Threading Intel® (Tecnologia Intel® HT) desativada

Tecnologia Intel® Turbo Boost ativada

P-states ativados**

C-states ativados**

Configurações de gerenciamento de energia definidas para desempenho**

Configuração de carga de trabalho configurada como balanceada**

Streamer do MLC (Memory Latency Checker) ativado**

Pré-busca espacial do MLC ativada**

Pré-busca de dados da unidade de cache de dados (DCU) ativada**

Pré-busca de instrução de DCU ativada**

Pré-busca do cache de último nível (LLC) desativada**

Escalonamento de frequência fora do núcleo ativada**

Padrões mínimos de desempenho

Comprovadamente atendem ou ultrapassam os seguintes recursos mínimos de desempenho:

Taxa de transferência do treinamento do ImageNet

375 imagens por segundo com precisão Top-5 de 85% ou superior1
**Recomendado, não obrigatório

Informações de produto e desempenho

1

Os resultados de desempenho são baseados em testes realizados em 10 de outubro de 2018 e podem não refletir todas as atualizações de segurança disponíveis ao público. Para obter detalhes, consulte a publicação da configuração. Nenhum produto pode ser totalmente seguro. Configuração: um nó mestre: 2 processadores Intel® Xeon® Gold 6148, placa para servidor Intel® S2600WFT, memória total: 192 GB, 12 slots/16 GB/2.666 megatransferências por segundo (MT/s) RDIMM DDR4, Tecnologia Intel® Hyper-Threading (Intel® HT Technology) desativada, tecnologia Intel® Turbo Boost ativada; armazenamento (boot): 1 SSD Intel® DC S4500 de 240 GB; armazenamento: 4 SSDs Intel® DC S4500 de 960 GB; dispositivos de rede: 1 adaptador de rede Ethernet Intel® X722 de 10 Gb, velocidade de rede: 10 GbE, ucode: 0x043, SO/software: CentOS* Linux release 7.5.1804; quatro nós de trabalho: 2 processadores Intel® Xeon® Gold 6148, placa para servidor Intel® S2600WFT, memória total: 384 GB, 12 slots/32 GB/2.666 megatransferências por segundo (MT/s) RDIMM DDR4, tecnologia Intel® HT desativada, Tecnologia Intel® Turbo Boost ativada; armazenamento (boot): 1 SSD Intel® DC S4500 de 240 GB; armazenamento: 4 SSDs Intel® DC S4500 de 3,8 TB; dispositivos de rede: 1 adaptador de rede Ethernet Intel® X722 de 10 Gb, velocidade de rede: 10 GbE, ucode: 0x043, SO/software: CentOS* Linux release 7.5.1804.