NVIDIA heeft zijn nieuwe H200Hopper GPU uitgebracht, die nu beschikt over 's werelds snelste HBM3e-geheugen van Micron. Naast het nieuwe kunstmatige-intelligentieplatform kondigde NVIDIA ook een grote supercomputing-overwinning aan met zijn GraceHopper-superchip, die nu de ExaflopJupiter-supercomputer aandrijft.
NVIDIA's H100 GPU is veruit de meest gevraagde kunstmatige intelligentie-chip in de branche, maar NVIDIA wil klanten nog betere prestaties bieden. HGXH200 is het nieuwste krachtige computerplatform voor kunstmatige intelligentie, aangedreven door H200TensorCoreGPU. Deze GPU's zijn voorzien van de nieuwste Hopper-optimalisatietechnologie in zowel hardware als software, en leveren tegelijkertijd 's werelds snelste geheugenoplossing tot nu toe.
NVIDIAH200GPU is uitgerust met Micron's HBM3e videogeheugenoplossing, met een capaciteit tot 141 GB en een bandbreedte van 4,8 TB/s. Vergeleken met NVIDIAA100 is de bandbreedte 2,4 keer toegenomen en is de capaciteit verdubbeld. In toepassingen zoals Llama2 (70 miljard parameters LLM) verdubbelt deze nieuwe geheugenoplossing bijna de AI-inferentieprestaties van NVIDIA vergeleken met de H100 GPU.
Qua oplossingen zal NVIDIAH200GPU op grote schaal worden gebruikt in HGXH200-servers met 4-weg en 8-weg GPU-configuraties. De 8-weg H200 GPU-configuratie in het HGX-systeem biedt 32 PetaFLOP's aan FP8-computerprestaties en 1,1 TB geheugencapaciteit.
De GPU's zullen ook compatibel zijn met bestaande HGXH100-systemen, waardoor het voor klanten gemakkelijker wordt om hun platforms te upgraden. NVIDIA-partners, zoals ASUS, ASRockRack, Dell, Eviden, GIGABYTE, Hewlett Packard Enterprise, Inglas (Ingrasys), Lenovo (Lenovo), QCT, Wiwynn (Wiwynn), Supermicro (Supermicro) en Wistron (Wistron), deze fabrikanten zullen bijgewerkte oplossingen bieden wanneer de H200GPU in het tweede kwartaal van 2024 wordt gelanceerd.
Naast de aankondiging van de H200 GPU kondigde NVIDIA ook een grootschalig supercomputerproject aan, aangedreven door de GraceHopper-superchip (GH200). Deze supercomputer heet "Jupiter" en staat in het Forschungszentrum Jülich in Duitsland. Het maakt deel uit van de European High-Performance Computing Joint Undertaking (EuroHPC Joint Undertaking) en is gecontracteerd door Eviden en ParTec. Deze supercomputer zal worden gebruikt in materiaalkunde, klimaatonderzoek, medicijnontdekking en andere gebieden. Dit is tevens de tweede supercomputer die Nvidia in november uitbracht. De vorige was Isambard-AI, die tot 21 Exaflops aan kunstmatige intelligentie-prestaties kan leveren.
Qua configuratie is de Jupiter-supercomputer gebaseerd op Eviden's BullSequanaXH3000 en heeft hij een volledig vloeistofgekoelde architectuur. Het heeft in totaal 24.000 Nvidia GH200 GraceHopper-superchips, die met elkaar zijn verbonden via de Quantum-2 Infiniband van het bedrijf. Gezien het feit dat elke Grace CPU 288 Neoverse-cores bevat, kijken we naar Jupiter met bijna 7 miljoen ARM-cores in de CPU alleen al (6,912 miljoen om precies te zijn).
Prestatiestatistieken omvatten 90 Exaflops voor AI-training en 1 Exaflop voor high-performance computing. De supercomputer zal naar verwachting in 2024 worden geïnstalleerd. Over het geheel genomen zijn dit belangrijke updates voor de toekomst, aangezien Nvidia de wereld van kunstmatige intelligentie blijft leiden met zijn krachtige hardware- en softwaretechnologieën.