Een aantal topuniversiteiten in de Verenigde Staten hebben samengewerkt met lokale waferfabrieken om met succes een nieuwe monolithische driedimensionale (3D) chip te ontwikkelen. De opslag- en rekeneenheden zijn in verticale richting dicht op elkaar gestapeld. Er wordt verwacht dat dit de interne datatransmissiesnelheid van de chip aanzienlijk zal verbeteren. Het wordt beschouwd als een belangrijke mijlpaal in het doorbreken van de ‘geheugenmuur’ van hardware voor kunstmatige intelligentie.
Deze prestatie werd voltooid door Stanford University, Carnegie Mellon University, University of Pennsylvania, MIT en SkyWater Technology, een lokale gieterij in de Verenigde Staten. Het is de eerste monolithische 3D-chip die is vervaardigd in een commerciële waferfabriek in de Verenigde Staten. De dichtheid van de verticale interconnectiebedrading heeft een nieuw hoogtepunt bereikt in de huidige 3D-chips. De gemeten en gesimuleerde weergaveprestaties kunnen met ongeveer een orde van grootte worden verbeterd in vergelijking met traditionele tweedimensionale chips. Het onderzoeksteam benadrukte dat dit niet alleen een doorbraak in de prestaties is, maar ook een nieuw paradigma biedt voor de Verenigde Staten om geavanceerde chipproductie lokaal te bevorderen.
In tegenstelling tot traditionele tweedimensionale chips die alle circuits op hetzelfde vlak "bedekken", gebruikt deze prototype-chip meerdere lagen ultradunne circuitlagen die verticaal worden gestapeld. Elke laag is nauw met elkaar verbonden via verticale verbindingen met hoge dichtheid, zodat gegevens tussen de opslageenheid en de rekeneenheid in de chip kunnen "op en neer pendelen", waardoor het transmissiepad aanzienlijk wordt verkort. Onder een dergelijke architectuur wordt het lokaal beschikbare geheugen aanzienlijk vergroot en hoeven gegevens niet vaak te reizen tussen externe opslag en computerkernen, wat fundamenteel het knelpunt van de ‘geheugenmuur’ verlicht dat hoge prestaties en AI-chips lange tijd heeft geplaagd.
De ‘geheugenmuur’ verwijst naar de voortdurende verbetering van de rekenkracht van rekeneenheden, maar de gegevensoverdrachtsnelheid tussen de interne chip en externe opslag is moeilijk bij te houden, waardoor de processor vaak ‘wacht op gegevens’ en rekenkracht ernstig wordt verspild. Decennia lang heeft de halfgeleiderindustrie zich voornamelijk gebaseerd op het voortdurend verkleinen van de omvang van transistors en het plaatsen van meer apparaten op hetzelfde vlak om dit probleem te verlichten. Deze route nadert echter fysieke grenzen en staat bekend als de 'krimpmuur'. Deze nieuwe monolithische 3D-chip integreert opslag- en logische circuits in verticale richting, wat overeenkomt met het bouwen van rijen "liftschachten" in de chip, waardoor een grote hoeveelheid gegevens tegelijkertijd met hoge snelheid tussen verschillende "verdiepingen" kan stromen, waardoor een nieuwe uitweg wordt gevonden onder de dubbele beperkingen van de "geheugenmuur" en de "miniatuurmuur".
De industrie heeft eerder geprobeerd een 3D-systeem te bouwen door meerdere gefabriceerde chips op en neer te stapelen. Deze "gestapelde chip"-methode is echter vaak ruw en schaars in de verbindingen tussen de lagen, en er zijn nog steeds duidelijke knelpunten. Dit onderzoek maakt gebruik van een ‘monolithisch’ 3D-proces: elke functionele laag wordt achtereenvolgens direct op dezelfde wafer gegroeid en verwerkt. Het lage-temperatuurproces vermijdt schade aan de onderliggende circuits, zodat interconnectie met hoge dichtheid op kleinere schaal kan worden uitgevoerd. Het proces, volledig voltooid in de commerciële waferfabriek van SkyWater in Bloomington, Minnesota, wordt gezien als een belangrijke stap van een laboratoriumconcept naar een schaalbare productiearchitectuur.
Wat de prestaties betreft, blijkt uit vroege hardwaretests dat de huidige prototype-chip ongeveer vier keer zoveel prestatieverbetering heeft bereikt vergeleken met een vergelijkbaar tweedimensionaal ontwerp. Verdere simulatieresultaten laten zien dat wanneer het aantal verticale stapellagen verder wordt vergroot en op deze basis een hogere "vloer"-architectuur wordt gebouwd, de algehele prestaties tot wel twaalf keer kunnen worden verbeterd bij daadwerkelijke AI-belastingen, inclusief het Meta open source grote model LLaMA. Het onderzoeksteam benadrukte vooral dat de nieuwe architectuur theoretisch naar verwachting een 100 tot 1.000 keer betere energievertragingsproduct (EDP) zal opleveren, een belangrijke indicator die de algehele prestaties op het gebied van snelheid en energie-efficiëntie meet.
Door de afstand voor gegevensoverdracht aanzienlijk te verkorten en het aantal verticale kanalen te vergroten, wordt verwacht dat de chip zowel een hogere doorvoercapaciteit als een lager energieverbruik per bewerking zal bereiken, waardoor de noodzaak om de traditionele "keuze" te maken tussen prestaties en energieverbruik wordt geëlimineerd. Onderzoekers beschouwen dit als een van de belangrijkste wegen om de volgende generatie grootschalige AI-systemen te ondersteunen en richting het doel van “duizendvoudige verbetering van de hardwareprestaties” te gaan. Zij zijn van mening dat deze doorbraak een nieuwe technische dimensie opent voor de toekomstige evolutie van AI-hardware, met de mogelijkheid om training te ondersteunen en grotere, complexere en meer realtime modellen uit te voeren.
Het belang van dit werk wordt ook weerspiegeld in het niveau van de industrie en de opleiding van talent: door met succes een enkele 3D-chip af te tapen in een lokale commerciële waferfabriek in de Verenigde Staten, gelooft het team dat het een realistisch model heeft opgeleverd voor het bouwen van een geavanceerd chipsysteem dat "ontworpen is in de Verenigde Staten en vervaardigd in de Verenigde Staten." Onderzoekers vergelijken het met de geïntegreerde-circuitrevolutie van de jaren tachtig: een groep studenten die chipontwerp en -productie studeerden aan Amerikaanse universiteiten, was de drijvende kracht achter de opkomst van de siliciumindustrie. De huidige verschuiving naar monolithische 3D-integratie vereist ook een nieuwe generatie ingenieurs die zich nieuwe proces- en architectuurkennis eigen moeten maken.
Met financiering en samenwerking van projecten zoals het Amerikaanse Microelectronics Commons-programma en de California-Pacific Northwest AI Hardware Hub (Northwest-AI-Hub) zijn relevante universiteiten begonnen met het geven van systematische training rond 3D-integratie en AI-specifieke hardware. Deelnemers wezen erop dat het lokaal kunnen produceren van geavanceerde 3D-chips niet alleen betekent dat we voorop lopen op het gebied van prestatie-indicatoren, maar ook dat we meer initiatief nemen op het gebied van het innovatietempo, de beveiliging van de toeleveringsketen en de ontwikkelingsrichting van AI-technologie.
Volgens rapporten werd het onderzoek gezamenlijk uitgevoerd aan de School of Engineering van Stanford University, de School of Engineering van Carnegie Mellon University, de School of Engineering and Applied Science van de University of Pennsylvania en het Massachusetts Institute of Technology, waarbij alle chipproductie werd afgehandeld door SkyWater Technology. Het project heeft financiering ontvangen van het Amerikaanse Defense Advanced Research Projects Agency (DARPA), het Amerikaanse National Science Foundation Graduate Scholarship Program, Samsung, het Stanford Precourt Institute for Energy Research, de Stanford SystemX Alliance, de ‘Microelectronics Commons’ AI Hardware Hub van het Amerikaanse ministerie van Defensie, het Amerikaanse ministerie van Energie en het ‘Semiconductor Future Initiative’ van de National Science Foundation.
Samengesteld uit /ScitechDaily