Naarmate AI-modellen zich blijven uitbreiden, kan HBM mogelijk niet voldoen aan de toekomstige vraag naar videogeheugencapaciteit, wat de industrie ertoe aanzet GPU-aangedreven opslagarchitectuur te zien als een potentiële volgende technologische grens. Vorig jaar was er nieuws dat Nvidia samenwerkte met respectievelijk SK Hynix en Kioxia om de ontwikkeling van AI SSD te promoten en op maat gemaakte SSD-onderdelen te gebruiken ter vervanging van HBM als GPU-geheugenuitbreider. Bovendien werkte SK Hynix dit jaar ook samen met SanDisk om HBF (High Bandwidth Flash), een geheugenoplossing van de volgende generatie voor het AI-inferentietijdperk, te brengen om hetzelfde probleem op te lossen.
Volgens TrendForce-rapporten bevordert Nvidia de ontwikkeling van de GPU-opslagarchitectuur met directe toegang en is van plan deze te introduceren vanaf het Vera Rubin-platform en de GIDS-functie (GPU-Initiated Direct Storage Access) te activeren. Buitenstaanders zijn van mening dat deze verandering de ontwikkeling van HBF kan versnellen.
GIDS verschilt van de bestaande GDS-functie (GPU Direct Storage). Er is een verschil tussen de twee: bij GDS stuurt de CPU een dataverzoek naar het opslagapparaat voordat de gegevens naar de GPU worden verzonden. In GIDS heeft de GPU rechtstreeks toegang tot het opslagapparaat, waarbij de CPU en DRAM in het midden worden overgeslagen.
Zowel GIDS als GDS streven ernaar om knelpunten in de datatransmissie in traditionele computerarchitecturen te overwinnen, en het gerucht gaat dat Microsoft en AMD soortgelijke benaderingen onderzoeken. Het grootste probleem is dat de traditionele methode voor gegevensoverdracht inefficiënt is. De CPU heeft een beperkte structuur in threadverwerking, terwijl de GPU tienduizenden parallelle threads kan genereren. Momenteel is GPU-HBM-datatransmissie verantwoordelijk voor ongeveer de helft van het totale energieverbruik van het systeem, wat de HBF-architectuur verder ondersteunt en ultrasnel NAND-flashgeheugen dichter bij de GPU brengt om toekomstige AI-knelpunten op te vangen.
Door de opkomst van GIDS kan NAND-flash een belangrijkere rol gaan spelen in AI-opslagsystemen, terwijl de druk op HBM in termen van capaciteit wordt verminderd. Deze verschuiving vereist NAND-flashgeheugen met hogere prestaties om de GPU-verwerkingssnelheden bij te houden. Het voordeel van NAND-flashgeheugen is de bitdichtheid, die ongeveer 30 keer groter is dan die van DRAM, waardoor een grotere opslagcapaciteit in een vergelijkbare ruimte wordt bereikt.
NAND-flashgeheugen heeft echter een beperkte duurzaamheid, terwijl DRAM vrijwel onbeperkte schrijfmogelijkheden heeft. Daarom wordt HBF geschikter geacht voor het opslaan van AI-modelparameters, omdat dit deel van de gegevens in principe onveranderd blijft tijdens het inferentieproces en alleen wordt gebruikt als alleen-lezen-werklast.