Az AI kiterjesztése a felhőtől a peremhálózatokon át a végpontokig.

Az AI fogja meghatározni a számítástechnika következő korszakát - és ez még csak a kezdet. Az AI előnyeit minden nap tapasztaljuk - legyen szó az orvosi kutatások elősegítéséről, a bankkártyás csalások megfékezéséről, a városi forgalmi torlódások csökkentéséről vagy egyszerűen csak az élet kényelmesebbé tételéről.

Hisszük, hogy a mesterséges intelligenciában rejlő teljes potenciált akkor fogjuk majd kihasználni, amikor a technológia már mindent lefed - a felhőtől kezdve a peremhálózaton át egészen a végpontokig. Az AMD három kulcsfontosságú területre összpontosítva segíti elő ezt a folyamatot.

Az AMD Ryzen AI Max PRO sorozatú processzorok akár 96 GB memóriát is képesek lefoglalni a GPU számára. Ez több időt biztosít az AI-modellek felfedezésére és az olyan mérnöki feladatok elvégzésére, amelyek meghaladják még a legerősebb dedikált grafikus kártyák VRAM-kapacitását is.

Biztosítson hibrid és terepen dolgozó csapatai számára olyan AMD Ryzen PRO processzorokkal felvértezett eszközöket, amelyekre az üzleti folyamatok racionalizálásához, az együttműködés elősegítéséhez és az innováció ösztönzéséhez szükségük van.

Akár a felhőben, akár helyben, akár nagyobb vagy kisebb környezetben futnak, az AMD EPYC szerver CPU-k versenyképes, költséghatékony és rugalmas megoldásokat kínálnak az AI-folyamat minden lépéséhez.

Az AMD CDNA™ architektúra olyan AI-gyorsítókkal van felvértezve, amelyek lenyűgöző teljesítményt, hatékonyságot és funkciókat kínálnak a játékosok számára asztali számítógépeken, laptopokon, játékkonzolokon, mobileszközökön és a felhőben egyaránt. 

Az AMD XDNA™ egy térbeli adatáramlású NPU-architektúra, amely nagy teljesítményű, egyedi tervezésű AI-motorok csempézett tömbjéből áll. Az ebből fakadó nagy számítási sűrűségnek köszönhetően ez a technológia ideális mély neurális hálózatokhoz (DNN) és jelfeldolgozási feladatokhoz.

Az AMD „Zen” architektúra alkotja az AMD Ryzen™ processzorok és az AMD EPYC™ szerverprocesszorok alapját, kimagasló teljesítményt, skálázhatóságot és hatékonyságot kínálva.

Az AMD RDNA™ architektúra olyan AI-gyorsítókkal van felvértezve, amelyek lenyűgöző teljesítményt, hatékonyságot és funkciókat kínálnak a játékosok számára asztali számítógépeken, laptopokon, játékkonzolokon, mobileszközökön és a felhőben egyaránt. 

A modern CPU-k képesek kis és közepes méretű következtetéses AI feladatok futtatására, másodperc alatti válaszidővel. A következtetéses AI feladatok mennyiségének növekedésével vagy az elvárt válaszidők rövidülésével szükségessé válhat dedikált gyorsítók alkalmazása.

A GPU-k önmagukban is képesek támogatni a vegyes vállalati munkafolyamatokat és az AI-t. A modellméret, a komplexitás és a volumen növekedésével a GPU-fürtök több teljesítményt nyújtanak egyetlen euróra vetítve.

A gépi tanulás, a gráffeldolgozás és a statisztikai módszerek kimagasló hatékonysággal futtathatók CPU-kon. A kis és közepes méretű nagy nyelvi modellek (LLM-ek) kiválóan futnak a legújabb CPU-kon. A nagyobb méretű modellek esetén az AI-gyorsítók alkalmazása pedig jelentős teljesítménytöbbletet eredményez.

Az 5. generációs AMD EPYC^TM CPU-k jelentős teljesítményjavulást biztosítanak a következtetéses AI feladatokhoz:

• Akár 3,8-szoros átviteli sebesség a végpontok közötti (end-to-end) AI-folyamatoknál a versenytársak CPU-ihoz képest¹

• Akár 90%-kal gyorsabb átviteli sebesség a Llama 3.1 8B modellen (BF16 formátumban) a versenytársak CPU-ihoz képest²

• Akár 86%-kal gyorsabb Facebook AI Similarity Search (FAISS) teljesítmény az előző generációs EPYC^TM CPU-khoz³ képest

^{1. A TPCxAI @SF30 Multi-Instance 32C példányméretű átviteli sebességre vonatkozó eredmények az AMD 2024. 09. 05-i belső tesztjein alapulnak, több virtuális gép (VM) futtatása mellett. Az összesített, teljes körű (end-to-end) AI átviteli sebességteszt a TPCx-AI benchmarkból származik, és mint ilyen, nem hasonlítható össze a közzétett TPCx-AI eredményekkel, mivel a teljes körű AI átviteli sebességteszt eredményei nem felelnek meg a TPCx-AI specifikációnak. Értettem, a technikai beilleszthetőség érdekében megtartom az eredeti, sűrűbb szöveges formátumot, és csak a szükséges kifejezéseket magyarítom a korábbiak szerint: 2P AMD EPYC 9965 (összesen 384 mag), 12 32C példány, NPS1, 1.5TB 24x64GB DDR5-6400 (6000 MT/s sebességen), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profil throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=ki, Determinism=Power, Turbo Boost=engedélyezve) 2P AMD EPYC 9755 (összesen 256 mag), 8 32C példány, NPS1, 1.5TB 24x64GB DDR5-6400 (6000 MT/s sebességen), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profil throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=ki, Determinism=Power, Turbo Boost=engedélyezve) 2P AMD EPYC 9654 (összesen 192 mag) 6 32C példány, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=ki, Determinism=Power) Szemben a következővel: 2P Xeon Platinum 8592+ (összesen 128 mag), 4 32C példány, AMX bekapcsolva, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profil throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=ki, Determinism=Power, Turbo Boost = engedélyezve) Eredmények: CPU Median Relative Generational Turin 192C, 12 Inst 6067.531 3.775 2.278 Turin 128C, 8 Inst 4091.85 2.546 1.536 Genoa 96C, 6 Inst 2663.14 1.657 1 EMR 64C, 4 Inst 1607.417 1 NA. Az eredmények a rendszerkonfigurációktól, a szoftververzióktól és a BIOS-beállításoktól függően változhatnak. A TPC, a TPC Benchmark és a TPC-C a Transaction Processing Performance Council védjegyei. (9xx5-012)}

^{2. Llama3.1-8B átviteli sebességre vonatkozó eredmények az AMD 2024. 09. 05-i belső tesztjei alapján. A megadott szakasz fordítása az eredeti struktúra megtartásával: Llama3-8B konfigurációk: IPEX.LLM 2.4.0, NPS=2, BF16, batch size 4, Use Case bemeneti/kimeneti token konfigurációk: [Summary = 1024/128, Chatbot = 128/128, Translate = 1024/1024, Essay = 128/1024, Caption = 16/16]. 2P AMD EPYC 9965 (384 Total Cores), 6 64C instances 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1 DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C, (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=22P AMD EPYC 9755 (256 Total Cores), 4 64C instances, 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughputperformance, ulimit - l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=22P AMD EPYC 9654 (192 Total Cores) 4 48C instances, 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2Versus 2P Xeon Platinum 8592+ (128 Total Cores), 2 64C instances , AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled). Eredmények: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c Average Aggregate Median Total Throughput 99.474 193.267 182.595 138.978 Competitive 1 1.943 1.836 1.397 Generational NA 1.391 1.314 1. Az eredmények a rendszerkonfigurációktól, a szoftververzióktól és a BIOS-beállításoktól függően változhatnak. (9xx5-009)}

 ^{3. FAISS (kérések/óra) átviteli sebességre vonatkozó eredmények az AMD 2024. 09. 05-i belső tesztjei alapján.. FAISS Configurations: sift1m Data Set, 16 Core Instances, FP32, MKL 2024.2.1 2P AMD EPYC 9965 (384 Total Cores), 24 16C instances, 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=42P AMD EPYC 9654 (192 Total cores) 12 16C instances, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power), NPS=4Versus 2P Xeon Platinum 8592+ (128 Total Cores), 8 16C instances, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, , Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) Eredmények: CPU Medián Relatív Átviteli Sebesség Generációs 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA Az eredmények a rendszerkonfigurációktól, a szoftververzióktól és a BIOS-beállításoktól függően változhatnak. (9xx5-011)}