Als eerste bedrijf dat HBM3E-geheugen op de markt bracht, onthulde Micron dat zijn geavanceerde geheugen met hoge bandbreedte (2024) uitverkocht is en dat het grootste deel van de productie in 2025 is toegewezen. Het HBM3E-geheugen van Micron (of zoals Micron ook wel HBM3Gen2 wordt genoemd) is een van de eerste herinneringen die is gecertificeerd voor Nvidia's nieuwste H200/GH200-accelerators, dus het lijkt erop dat de DRAM-maker een belangrijke leverancier voor het bedrijf in de schijnwerpers zal worden.
"Onze HBM voor 2024 is uitverkocht en het overgrote deel van ons aanbod voor 2025 is toegewezen", zei Sanjay Mehrotra, CEO van Micron, in voorbereide opmerkingen voor de winstoproep van deze week. "We verwachten nog steeds dat het HBM-bitaandeel ergens in 2025 vergelijkbaar zal zijn met ons totale DRAM-bitaandeel."
Micron's eerste HBM3E-product is een 8-Hi24GB-stack met een 1024-bit interface, een gegevensoverdrachtsnelheid van 9,2GT/s en een totale bandbreedte van 1,2TB/s. Nvidia's H200-accelerator voor kunstmatige intelligentie en high-performance computing zal zes van deze kubussen gebruiken, wat in totaal 141 GB toegankelijk geheugen met hoge bandbreedte oplevert.
“We liggen op koers om in het boekjaar 2024 honderden miljoenen dollars aan inkomsten uit HBM te genereren, en de HBM-inkomsten zullen naar verwachting vanaf het fiscale derde kwartaal bijdragen aan onze DRAM en de algehele brutomarge”, aldus Mehrotra.
Het bedrijf is ook begonnen met het testen van zijn 12-Hi-stack van 36 GB, die 50% meer capaciteit biedt. Deze KGSD’s zullen in 2025 in massaproductie worden genomen en worden gebruikt in de volgende generatie kunstmatige-intelligentieproducten. Ondertussen ziet het er niet naar uit dat Nvidia's B100 en B200 de 36GB HBM3E-stack zullen gebruiken, althans in eerste instantie.
De vraag naar AI-servers bereikte vorig jaar records en lijkt ook dit jaar hoog te blijven. Sommige analisten zijn van mening dat de A100- en H100-processors van Nvidia (en hun verschillende derivaten) in 2023 tot 80% van de gehele markt voor kunstmatige-intelligentieprocessors zullen uitmaken. Terwijl Nvidia dit jaar op het gebied van gevolgtrekking te maken zal krijgen met sterkere concurrentie van AMD, AWS, D-Matrix, Intel, Tenstorrent en anderen, lijkt Nvidia's H200 de voorkeursprocessor te blijven voor AI-training, vooral voor grote bedrijven als Meta en Microsoft, die beschikken al over een vloot van honderdduizenden Nvidia-accelerators. Met dit in gedachten is het een groot probleem voor Micron om de belangrijkste leverancier van HBM3E voor Nvidia's H200 te worden, omdat Micron hierdoor eindelijk een aanzienlijk deel van de HBM-markt kan veroveren.
Omdat elk DRAM-apparaat in de HBM-stack tegelijkertijd een bredere interface heeft, is het fysiek groter dan een gewoon DDR4- of DDR5-IC. Daarom zal de massaproductie van HBM3E-geheugen het bitaanbod van Micron's standaard DRAM beïnvloeden.
"De groei van de HBM-productie zal de aanbodgroei van niet-HBM-producten beperken", aldus Mehrotra. "Als we naar de industrie als geheel kijken, verbruikt HBM3E ongeveer drie keer zoveel wafers als DDR5 om een bepaald aantal bits op hetzelfde technologieknooppunt te produceren."