De geheugenprijzen zijn dit jaar drie tot vijf keer gestegen, wat de bereidheid van iedereen om pc's en mobiele telefoons te consumeren ernstig heeft aangetast. De boosdoener van deze enorme stijging van de geheugenprijzen is de sterke vraag naar AI. Iedereen weet dat AI zeer hoge eisen stelt aan de capaciteit en bandbreedte van het geheugen (inclusief videogeheugen op GPU’s), maar hoe hoog kunnen deze zijn? De achtste generatie TPU die Google een paar dagen geleden heeft uitgebracht, is het beste voorbeeld.

De TPU v8 van dit jaar maakt voor het eerst onderscheid tussen training en redeneren. V8T richt zich op AI-training. Hoewel Google zegt dat het ook kan redeneren, wordt het vooral gebruikt voor trainingen.Elke Pod-node is gestapeld met 9.600 V8T-chips en de FP4-prestaties bereiken 121EFlops.De geheugenbandbreedte is 19,2 TB/s en de interne chipbandbreedte is 400 GB/s, wat bijna een verandering van twee tot vier keer is.

V8i is vooral gericht op AI-inferentiebelastingen, en de specificaties moeten flink worden verlaagd. Elke node heeft slechts 1152 V8i-chips, de rekenkracht is teruggebracht tot 11,6 EFlops en de geheugenbandbreedte blijft onveranderd op 19,2 TB/s.


Het is vermeldenswaard dat de geheugencapaciteit deze keer aanzienlijk is toegenomen.V8i bereikt ook 331,8 TB HBM-geheugen, en V8T heeft een overdreven 2 PB HBM-geheugen. Elke V8T-chip is uitgerust met 216 GB HBM-geheugen.

Het ontwerpconcept van Google is deze keer om de geheugenmuur van AI-knelpunten te doorbreken. De 2PB HBM heeft niet alleen een supergrote totale capaciteit, maar wordt ook gebruikt als enkel globaal adres binnen een knooppunt. Hoewel de GPU van NVIDIA voorheen HBM-geheugen op PB-niveau kon stapelen via technologieën als NVLink, kan de verbinding het traditionele datacenternetwerk niet omzeilen, wat knelpunten in de prestaties en latentie zal veroorzaken.


Larry Carvalho, hoofdconsultant bij RobustCloud, zei dat het doorbreken van de ‘geheugenmuur’ een potentieel grote concurrentieverschuiving voor Google markeert op het gebied van AI-chips.

Maar voor gewone mensen is de lancering door Google van 2PB HBM-geheugen geen goed teken, omdat het betekent dat de vraag van AI naar geheugen nog steeds toeneemt.U moet weten dat HBM-geheugen gewoonlijk 2-4 keer meer DRAM-chipproductiecapaciteit verbruikt dan conventioneel DDR-geheugen.Hoe meer HBM wordt gebruikt, hoe meer DDR-geheugencapaciteit in beslag wordt genomen.

Zelfs als de vraag stijgt, zullen Samsung, SK Hynix, Micron en andere bedrijven prioriteit geven aan het waarborgen van de vraag naar HBM, maar ze hebben eerder duidelijk gemaakt dat ze de productiecapaciteit voor chips niet significant zullen vergroten. Het is duidelijk dat het tekort aan geheugenchips ernstiger zal worden en dat de prijzen niet snel zullen dalen.