Fazer avançar a IA da cloud para a periferia e para os terminais.

A IA está a definir a próxima era da computação. E isto é apenas o começo. Vemos os benefícios da IA todos os dias - ajudando a investigação médica, travando a fraude com cartões de crédito, reduzindo o congestionamento nas cidades ou simplesmente tornando a vida mais fácil.

O pleno potencial da IA será concretizado quando a tecnologia for omnipresente e abranger da cloud à periferia e aos terminais. A AMD está a ajudar a impulsionar este processo, concentrando-se em três áreas-chave.

Os processadores da série AMD Ryzen AI Max PRO podem atribuir até 96 GB de memória à GPU. Isto dá-lhe mais tempo para explorar modelos de IA e tarefas de engenharia que excedem as capacidades de VRAM mesmo das maiores placas gráficas discretas.

Capacite os seus colaboradores com as ferramentas de que necessitam para simplificar os processos empresariais, promover a colaboração e impulsionar a inovação em PCs equipados com processadores AMD Ryzen PRO - ideais para equipas híbridas e remotas.

Seja executando na cloud ou localmente, em implementações de pequena ou grande dimensão - as CPUs de servidor AMD EPYC oferecem soluções competitivas, económicas e flexíveis para cada etapa do seu percurso IA.

A arquitectura AMD CDNA™ foi criada para acelerar as cargas de trabalho de IA e HPC com uso intensivo de computação, oferecendo uma plataforma avançada para sistemas de GPU firmemente conectados que podem partilhar dados de forma rápida e eficiente. 

AMD XDNA™ é uma arquitectura de NPU de fluxo de dados espacial que consiste em uma matriz em mosaico de poderosos motores de IA personalizados que permitem alta densidade de computação, ideal para cargas de trabalho de DNN e processamento de sinal.

A arquitectura AMD "Zen" está subjacente a processadores AMD Ryzen™ e processadores de servidor AMD EPYC™, oferecendo o melhor desempenho, escalabilidade e eficiência.

A arquitectura AMD RDNA™ possui aceleradores de IA que oferecem desempenho, eficiência e recursos incríveis para jogadores em computadores de desktop e portáteis, consolas de jogos, dispositivos móveis e na cloud.

As CPUs modernas podem executar cargas de trabalho de inferência de IA de pequena e média dimensão com latência inferior a um segundo. À medida que as cargas de trabalho de inferência de IA aumentam ou os tempos de resposta diminuem, pode ser necessário adicionar um acelerador discreto.

As GPUs sozinhas podem suportar cargas de trabalho empresariais mistas e IA. À medida que o tamanho, a complexidade e os volumes do modelo aumentam, os clusters de GPU podem oferecer mais desempenho.

A aprendizagem automática, o processamento gráfico e os métodos estatísticos funcionam excepcionalmente bem em CPUs. Os modelos de linguagem de grande escala (LLMs) de pequena a média dimensão têm bom desempenho nas CPUs mais recentes. Os modelos de maior dimensão podem obter benefícios significativos com os aceleradores de IA.

As CPUs AMD EPYC^TM de 5.ª geração oferecem grandes melhorias de desempenho para cargas de trabalho de IA:

• até 3,8x mais débito de processamento para IA de ponta a ponta, em comparação com CPUs concorrentes¹

• Taxa de transferência até 90%  mais rápida no Llama 3.1 8B no BF16 em comparação com CPUs concorrentes²

• Facebook AI Similarity Search (FAISS) até 86% mais rápida em comparação com a geração anterior de CPU EPYC^TM 3

^{1. Resultados de débito do TPCxAI @SF30 Multi-Instance 32C Instance Size com base em testes internos da AMD em 09/05/2024 executando várias instâncias de VM. O teste agregado de débito de IA de ponta a ponta é derivado do parâmetro de referência TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, uma vez que os resultados do teste de débito de IA de ponta a ponta não estão em conformidade com a especificação TPCx-AI. 2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias 32C, NPS1, 1,5TB 24x64GB DDR5-6400 (a 6000 MT/s), 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9755 (256 Total Cores), 8 instâncias 32C, NPS1, 1.5TB 24x64GB DDR5-6400 (a 6000 MT/s), 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9654 (192 núcleos totais) 6 instâncias 32C, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power) Versus 2P Xeon Platinum 8592+ (128 Total Cores), 4 instâncias 32C, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) Resultados: CPU Mediana Relativa Geração Turin 192C, 12 Inst 6067.531 3.775 2.278 Turin 128C, 8 Inst 4091.85 2.546 1.536 Genoa 96C, 6 Inst 2663.14 1.657 1 EMR 64C, 4 Inst 1607.417 1 NA. Os resultados podem variar devido a factores que incluem configurações do sistema, versões de software e definições da BIOS. TPC, TPC Benchmark e TPC-C são marcas comerciais do Transaction Processing Performance Council. (9xx5-012)}

^{2. Resultados de rendimento do Llama3.1-8B com base em testes internos da AMD em 09/05/2024. Configurações Llama3-8B: IPEX.LLM 2.4.0, NPS=2, BF16, tamanho do lote 4, configurações de fichas de entrada/saída de casos de utilização: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024, Legenda = 16/16]. 2P AMD EPYC 9965 (384 núcleos totais), 6 instâncias 64C 1,5TB 24x64GB DDR5-6400 (a 6000 MT/s), 1 DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C, (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=22P AMD EPYC 9755 (256 Total Cores), 4 instâncias 64C, 1.5TB 24x64GB DDR5-6400 (a 6000 MT/s), 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughputperformance, ulimit - l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=22P AMD EPYC 9654 (192 Total Cores) 4 instâncias 48C, 1.5TB 24x64GB DDR5-4800, 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2Versus 2P Xeon Platinum 8592+ (128 Total Cores), 2 instâncias 64C , AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Ativado). Resultados: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c Média Agregada Mediana Total de transferência 99.474 193.267 182.595 138.978 Competitivo 1 1.943 1.836 1.397 Geracional NA 1.391 1.314 1. Os resultados podem variar devido a factores que incluem configurações do sistema, versões de software e definições da BIOS. (9xx5-009)}

 ^{3. Resultados da taxa de transferência FAISS (Pedidos/Hora) com base em testes internos da AMD em 09/05/2024. Configurações FAISS: Conjunto de dados sift1m, 16 instâncias de núcleo, FP32, MKL 2024.2.1 2P AMD EPYC 9965 (384 núcleos totais), 24 instâncias 16C, 1,5TB 24x64GB DDR5-6400 (a 6000 MT/s), 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=42P AMD EPYC 9654 (192 núcleos totais) 12 instâncias 16C, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinismo=Power), NPS=4Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 8 instâncias 16C, AMX ligado, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, , Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) Resultados: CPU Mediana Taxa de transferência relativa Geracional 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA. Os resultados podem variar devido a factores que incluem configurações do sistema, versões de software e definições da BIOS. (9xx5-011)}