In een stoffig prairiegebied in Abilene, Texas, werkten hardware-ingenieurs van OpenAI en Crusoe, de datacenteraannemer van Oracle, dagenlang overuren om meerdere gasturbine-eenheden stabiel te laten draaien met de duurste AI-supercomputer uit de geschiedenis.
Er wordt een gasturbine-eenheid geïnstalleerd naast het Stargate AI-datacenter, gebouwd door Oracle en OpenAI in Abilene, Texas.
Een aantal mensen die bekend waren met het project, lokale ingenieurs en experts op het gebied van elektriciteitsnetwerken, onthulden dat het project deel uitmaakt van het OpenAI Stargate computerkrachtinfrastructuurproject, en dat de algehele implementatieproblemen en kapitaalinvesteringen de aanvankelijke verwachtingen ver overtreffen.
De Abilene-basis wordt lange tijd beschouwd als een maatstaf voor de wereldwijde bouw van AI-datacenters. Crusoe's klant Oracle heeft hier servers voor OpenAI ingezet, die minstens honderden megawatt aan stroom verbruiken; Het bedrijf is van plan deze zomer meer chips in nieuwe gebouwen in te zetten, met een totale stroombelasting van maximaal 1,2 gigawatt, wat voldoende is om in de verlichtingsbehoeften van de hele stad San Francisco te voorzien.
Maar het eerste probleem is het garanderen van een ononderbroken stroomvoorziening. Mensen die bekend waren met de zaak zeiden dat Crusoe vanwege meerdere problemen, zoals storingen in het koelsysteem, afwijkingen aan de turbine-eenheden en nieuwe regels voor de beheersing van fluctuaties in het elektriciteitsnet die moesten worden ingevoerd door de regelgevende instantie voor het elektriciteitsnet in Texas, de activiteiten in fasen moest opschorten om meerdere risico's voor apparatuur, mankracht en fondsen te voorkomen.
Naast diverse operationele problemen op de projectlocatie kampen alle fabrikanten van AI-infrastructuur met uit de hand gelopen kosten. Een paar weken geleden onthulde Chase Rockmiller, CEO van Crusoe, in een gastlezing aan Stanford University dat de kosten voor het bouwen van een ‘belangrijkste geëlektrificeerde centrale’ voor een datacenter van 1 gigawatt maar liefst 19,2 miljard dollar bedragen, inclusief de belangrijkste bouwmaterialen, mechanische en elektrische apparatuur, ondersteunende gascentrales en alle arbeidskosten.
Dit aantal is sterk gestegen vergeleken met de offertes voor projecten met dezelfde specificaties twee of drie jaar geleden: onder de hausse op het gebied van AI-computing zijn de technische lonen van aannemers over het algemeen met 30% gestegen en zijn de arbeidskosten goed voor bijna een kwart van de totale investeringen. "De concurrentie om technische mankracht in de industrie is nog nooit zo hevig geweest", aldus Rockmiller.
De kosten van andere hardware-ondersteunende apparatuur zijn ook omhooggeschoten. Hij vertelde de studenten dat de kosten van een gasgestookte elektriciteitscentrale van één gigawatt de afgelopen jaren bijna zijn verdrievoudigd, tot wel $3 miljard; Uit gegevens van de Federal Reserve Bank of St. Louis blijkt dat de prijs van transformatoren en schakelapparatuur sinds 2020 met 80% is gestegen. De aanschafkosten voor de chips en serverondersteunende apparatuur die nodig zijn voor een datacenter van 1 GW bedragen nog eens ongeveer 40 miljard dollar.
Op dit moment is het kostendelingsplan van Crusoe, Oracle, OpenAI en andere partners niet bekendgemaakt; Als er budgetoverschrijdingen en bouwvertragingen optreden, is er geen duidelijke conclusie over de relevante juridische aansprakelijkheidsentiteiten. Een woordvoerder van Crusoe antwoordde dat het budget van het bedrijf risicoreserves heeft gereserveerd om verschillende noodsituaties het hoofd te kunnen bieden.
Eén ding is heel duidelijk: de wereldwijde bouwcyclus van datacenters wordt over het algemeen langer, en de drie factoren die de goedkeuringscyclus voor landgebruik verlengen, het tekort aan kernapparatuur en het tekort aan arbeidskrachten blijven de voortgang vertragen. Economen van JP Morgan brachten vorige maand een rapport uit waarin stond dat satellietbeelden laten zien dat meer dan 60% van de datacentra die oorspronkelijk gepland waren om vóór 2027 in gebruik te worden genomen, nog niet met de bouw is begonnen, en dat nog eens 7% van de projectschema's is uitgesteld, wat aangeeft dat het tempo van de uitbreiding van de industrie zou kunnen vertragen.
Crusoe's probleemoplossingswerk op de Abilene-basis was ook een waarschuwing voor de hele industrie: er is geen ruimte voor slordigheid bij de bouw van hyperscale datacenters op gigawatt-schaal. Elke fout kan ertoe leiden dat de chip oververhit raakt en beschadigd raakt, dat turbinebladen en aandrijfassen breken, dat bouwvakkers gewond raken of gewond raken als gevolg van een elektrische schok, of dat ondersteunende apparatuur voor het elektriciteitsnet volledig verbrandt.
Crusoe-CEO Chase Rockmiller
Meerdere problemen, zoals knelpunten in de stroomvoorziening en nieuwe wettelijke beperkingen, zijn ook de belangrijkste redenen waarom AI-bedrijven zoals OpenAI en Anthropic melden dat ze niet in staat zijn voldoende rekenkracht te verkrijgen uit nieuw gebouwde datacenters en nieuwe technologieën met de verwachte snelheid te herhalen.
Crusoe bestaat acht jaar. In de beginperiode was het afhankelijk van verspilde energie om cryptocurrency-mijnen te exploiteren. In 2022 zal het volledig transformeren in een AI-infrastructuurspoor. De private equity-waardering van het bedrijf bedroeg zeven maanden geleden meer dan 10 miljard dollar, en uit het laatste nieuws blijkt dat de pre-IPO-financieringsronde naar verwachting tussen de 300 en 400 miljard dollar zal worden gewaardeerd. Bedrijfsleiders die met Crusoe hebben samengewerkt, hebben het managementteam positief beoordeeld en gezegd dat het team de efficiëntie van de industriebouw aanzienlijk heeft versneld en op flexibele wijze verschillende problemen bij de projectimplementatie en het toezicht heeft opgelost.
Crusoe heeft officieel een verklaring uitgegeven waarin staat: "De kenmerken van de stroomvraag van AI-computerbelastingen zijn fundamenteel verschillend van de ontwerpaanpassingslogica van traditionele back-upvoedingen in de energiesector. Dit is een groot technisch probleem dat de hele industrie moet overwinnen. De projecten die we aan onze klanten hebben opgeleverd, hebben precedenten in de sector geschapen op het gebied van bouwsnelheid en implementatieschaal, en daar zijn we erg trots op."
Als pionier op het gebied van AI-datacenters zijn de verschillende verborgen gevaren die het Crusoe-project blootlegt, voor de hele sector gelijk aan het vooraf opruimen van mijnen. Vergelijkbaar met Tesla's eerdere inzet van energieopslagbatterijen om stroompulsschokken in het xAI-datacenter (nu opgegaan in SpaceX) op te lossen.
Een andere lokale infrastructuurfabrikant uit Texas merkte op dat Crusoe het aandurfde om snel oplossingen uit te proberen en te herhalen in ruil voor ultieme bouwsnelheid, maar ten koste van hoge investeringskosten. Een voormalige OpenAI-ingenieur die bekend was met het Abilene-project bevestigde dit. Projectinsiders onthulden dat de oorspronkelijke back-upstroomvoorziening van de basis onvoldoende weerstand bood tegen plotselinge spanningsveranderingen en stroomoscillaties, en dat het team meerdere versies van het ontwerp moest aanpassen.
Omdat deze gasturbines alleen worden gebruikt als back-upstroom voor het datacenter, hebben ze geen invloed op de hoofdlijnverbinding tussen de basis en het openbare elektriciteitsnet in Texas. Projectpartner Lancium is verantwoordelijk voor de bouw van het onderstation op locatie. Mensen die bekend zijn met de bouwperiode zeggen dat de voortgang van het onderstationproject op peil ligt of zelfs voorloopt op schema, waardoor OpenAI deze zomer tot 1,2 GW aan externe netstroom kan gebruiken.
Voldoende stroomvoorziening uit het elektriciteitsnet betekent echter niet dat OpenAI en Oracle direct op volle capaciteit kunnen worden ingezet. Ingenieurs moeten de test van de serverchipbakmachine voltooien en tegelijkertijd het ontwerp van de stroomvoorziening en het koelsysteem optimaliseren om het debuggen van het hele computercluster vóór de zomer te voltooien. Een voormalige ingenieur die bij het project betrokken was, onthulde dat eerder dit jaar de koeleenheid die werd gebruikt om te voorkomen dat de chipserver oververhit en zou smelten (thermal runaway fail) faalde in een omgeving met lage temperaturen, waardoor de rekenkracht bijna een volledige dag werd onderbroken.
Risico's als je off-grid gaat
Het stroomverbruik van de AI-computerbelasting fluctueert sterk tussen milliseconden. Relevant onderzoek wijst uit dat onjuist beheer en controle zullen leiden tot frequentiemismatch (harmonische vervorming), schade aan huishoudelijke apparaten en substationapparatuur en het verlies van de eigen batterij van het datacenter. Zodra een afwijking in het elektriciteitsnet wordt gedetecteerd, zal het datacenter proactief de verbinding met het elektriciteitsnet verbreken om zichzelf te beschermen. In 2024 en 2025 gingen tientallen computerruimtes in de ‘datacentercorridor’ van Virginia twee keer offline, wat bijna een regionale stroomuitval veroorzaakte.
In de zomer en herfst van 2024 bleef een cryptomijnboerderij in West-Texas gewelddadige stroomschommelingen in het elektriciteitsnet veroorzaken als gevolg van een defect in het firmwareprogramma. De fabrikant heeft de firmware herschreven en de fout was opgelost.
De elektriciteitsnetbeheerders in Texas zijn hier zeer waakzaam over. Volgens statistieken van GridMonitor, een bureau voor het volgen van conferenties over elektriciteitsnetwerken, werd de term 'stroomoscillatie' alleen al dit jaar 80 keer genoemd tijdens verschillende bijeenkomsten van de Electric Reliability Council of Texas (ERCOT). Het agentschap implementeert nieuwe regelgeving voor vervormingsbeheersing, waardoor datacenters moeten worden uitgerust met zeer nauwkeurige stroombuffer- en spanningsstabilisatiesystemen. De mainstreamoplossing bestaat uit energieopslagbatterijen, en fabrikanten ontwikkelen tegelijkertijd ook alternatieve oplossingen, zoals kleine generatorsets, condensatoren en brandstofcellen.
Een andere nieuwe regelgeving die moet worden geïmplementeerd, vereist dat datacenters de mogelijkheid hebben om door netstoringen heen te komen en niet direct van het net moeten worden losgekoppeld in geval van een storing. Het goede nieuws is dat het algehele ontwerp van het nieuwe generatie park is uitgerust met een efficiëntere energieopslagbufferbatterij en dat ook de ondersteunende AI-hardware is aangepast en geoptimaliseerd. Sean James, energiesysteemarchitect bij NVIDIA, zei: "NVIDIA blijft de ingebouwde circuits van servers optimaliseren om het vermogen om stroompulsen te bufferen te verbeteren."
Het voorkomen dat AI-rekenkracht het elektriciteitsnet beïnvloedt, is in Noord-Amerika gestegen tot het niveau van uniform toezicht. De North American Electric Reliability Corporation (NERC) heeft op 4 mei een zeldzame waarschuwing van niveau drie afgegeven, waarin energienetplanners worden verplicht vóór 3 augustus kernrectificatiemaatregelen te implementeren om te bewijzen dat het elektriciteitsnet nieuwe ultragrote computerbelastingen kan dragen, zoals AI-datacenters.
NERC CEO Jim Robb zei: “Silicon Valley heeft altijd geloofd in snel vallen en opstaan, oud en nieuw, maar deze logica is niet van toepassing op het elektriciteitsnet – alle infrastructuur voor het functioneren van de samenleving is afhankelijk van een stabiele stroomvoorziening. De werkingsmodus van datacentra en gecodeerde mijnen moet de algehele betrouwbaarheid van het elektriciteitsnet garanderen.”
Een woordvoerder van Oracle antwoordde: "Het waarborgen van de stabiliteit van het elektriciteitsnet is het kernontwerpprincipe van Oracle's hyperscale datacenter. Het bedrijf heeft nauw samengewerkt met Lancium en gecoördineerd met lokale energiebedrijven om de veilige werking van het elektriciteitsnet te garanderen."