Instâncias AWS M5 Com Processadores Escaláveis Intel® Xeon® da 2ª Geração Aceleram a Análise de Big Data Amazon EMR em até 40%

Spark

  • Acelere o desempenho EMR em até 31% selecionando instâncias AWS m5.4xlarge com processadores escaláveis Intel® Xeon® da 2ª Geração em contraste às instâncias m5a.4xlarge com processadores AMD EPYC.

  • Acelere o desempenho EMR em até 40% selecionando instâncias AWS m5.8xlarge com processadores escaláveis Intel® Xeon® da 2ª Geração em contraste às instâncias m5a.8xlarge com processadores AMD EPYC.

author-image

Por

Comparação das Instâncias M5a com Processadores AMD EPYC em Vários Tamanhos de Instância

A plataforma Amazon EMR (anteriormente Amazon Elastic MapReduce) permite que as organizações simplifiquem a execução de estruturas de big data em instâncias AWS. A escolha de um tipo de instância com processadores mais poderosos pode acelerar a análise de dados e ajudar na sua conclusão. Usando o parâmetro de referência TPC-DS 2.4, medimos o desempenho EMR de várias instâncias de nuvem EC2 Amazon Web Services (AWS). Descobrimos que tanto instâncias M5 de médio e grande porte habilitadas pelos processadores escaláveis Intel® Xeon® de 2ª Geração aceleraram a análise de dados EMR em comparação às instâncias M5a do mesmo tamanho com processadores AMD EPYC.

Com base nesses resultados de teste em diferentes tamanhos de instância, as organizações que buscam acelerar as cargas de trabalho EMR (Apache Spark 3.1.1 e Hadoop 3.2.1 estão inclusas nesse rol) para uma análise de dados sem demora podem obter insights mais rapidamente selecionando instâncias AWS M5 com processadores escaláveis Intel® Xeon® da 2ª Geração.

Melhore o Desempenho da Amazon EMR até 31% em Relação às Instâncias de Médio Porte

Para instâncias com 16 vCPUs, a instância m5.4xlarge habilitada por processadores escaláveis Intel® Xeon® da 2ª Geração melhorou o desempenho da Amazon EMR até 31% em comparação à instância m5a.4xlarge com processadores AMD EPYC (consulte a Figura 1). Da mesma forma, em 8 vCPUs, a instância m5.2xlarge melhorou a análise de big data em relação à instância m5a.2xlarge em até 19%.

Figura 1. Velocidade relativa da carga de trabalho de análise EMR da Amazon em 16 e 8 vCPUs atingidas por instâncias M5 com processadores escaláveis Intel® Xeon® de 2ª Geração vs. instâncias M5a com processadores AMD EPYC.

Melhore o Desempenho da Amazon EMR em até 40% em Instâncias Maiores

Como mostra a Figura 2, comparando instâncias com 48 vCPUs, a instância m5.12xlarge habilitada por processadores escaláveis Intel® Xeon® da 2ª Geração acelerou o desempenho da Amazon EMR em até 28% em comparação à instância m5a.12xlarge com base em processadores AMD EPYC. Em 32 vCPUs, a instância m5.8xlarge acelerou a análise sobre a instância m5a.8xlarge em 40%.

Figura 2. Velocidade relativa da carga de trabalho de análise EMR da Amazon em 48 e 32 vCPUs alcançadas por instâncias M5 com processadores escaláveis Intel® Xeon® da 2ª Geração vs. instâncias M5a com processadores AMD EPYC.

Conclusão

Nos quatro tamanhos de instância que testamos, as instâncias AWS M5 com processadores escaláveis Intel® Xeon® de 2ª Geração aceleraram o desempenho da Amazon EMR em comparação com as instâncias do processador AMD EPYC com base no mesmo tamanho AWS M5a. Esses resultados mostram que as organizações que hospedam plataformas de big data na AWS podem acelerar a análise de dados e obter insights mais rapidamente selecionando instâncias AWS M5 com processadores escaláveis Intel® Xeon® da 2ª Geração.

Saiba Mais

Para começar a executar suas cargas de trabalho de análise EMR da Amazon em instâncias M5 com processadores escaláveis Intel® Xeon® da 2ª Geração, acesse https://aws.amazon.com/ec2/instance-types/M5/.

Teste feito pela Intel em Janeiro de 2022. Testes na AWS us-east-1 com Linux 4.14.225-169.362.amzn2.x86_64 #1 SMP, EMR 6.3.0, Apache Spark 3.1.1 e Hadoop 3.2.1. Todos os VMs AMD com AMD EPYC 7571. Detalhes da instância: m5.12xlarge: 5x nós, Intel Xeon 8175M, 48 vCPUs, 192GB RAM, EBS 512GB, 10Gbps NW BW, 9.500 Mbps de Armazenamento BW; m5,8xlarge: 5x nós, Intel Xeon 8259 CL, 32 vCPUs, 128GB RAM, EBS 512GB, 10 Gbps NW BW, 6.800 Mbps de Armazenamento BW; m5,4xlarge: 5x nós, Intel Xeon 8259CL, 16 vCPUs, 64GB de RAM, EBS 256GB, 10 Gbps NW BW, 4.750 Mbps de Armazenamento BW; m5,2xlarge: 10x nós, Intel Xeon 8259CL, 8 vCPUs, 32GB RAM, EBS 128GB, Até 10Gbps NW BW, até 4.750 Mbps de Armazenamento BW; m5a.12xlarge: 5x nós, 48 vCPUs, 192GB RAM, EBS 512GB, 10 Gbps NW BW, 6.780 Mbps de Armazenamento BW; m5a.8xlarge: 5x nós, 32 vCPU, 128GB RAM, EBS 512GB, Até 10Gbps NW BW, 4.750 Mbps Armazenamento BW; m5a.4xlarge: 5x nós, 16 vCPUs, 64GB RAM, EBS 256GB, Até 10Gbps NW BW, 2.880 Mbps de Armazenamento BW; m5a.2xlarge: 10x nós, 8 vCPUs, 32GB RAM, EBS 128GB, Até 10Gbps NW BW, Até 2.880 Mbps de Armazenamento BW.