IBM heeft een nieuwe optische technologie ontwikkeld die AI-modellen met de snelheid van het licht kan trainen en tegelijkertijd enorme hoeveelheden energie kan besparen. Het bedrijf zegt dat door zijn baanbrekende technologie in datacenters toe te passen, het bij het trainen van AI-modellen energie kan besparen die gelijk staat aan het jaarlijkse energieverbruik van 5.000 Amerikaanse huizen.
Het bedrijf legde uit dat hoewel het datacenter via glasvezelkabels met de buitenwereld is verbonden, ze intern nog steeds koperdraden gebruiken. Deze draden verbinden GPU-versnellers, die veel tijd inactief doorbrengen terwijl ze wachten op gegevens van andere apparaten, waardoor energie wordt verbruikt en de kosten stijgen.
In zijn commentaar op de ontwikkeling zei Dario Gil, senior vice-president en directeur onderzoek bij IBM:
"Omdat het genereren van AI meer energie en verwerkingskracht vereist, moeten datacenters blijven evolueren - en co-packagede optica kan deze datacenters toekomstbestendig maken. Met deze doorbraak zullen toekomstige chips communiceren als glasvezelkabels die data in en uit datacenters transporteren, wat een nieuw tijdperk inluidt van snellere, duurzamere communicatie die toekomstige AI-workloads aankan."
IBM schetste zijn nieuwe co-packaged optics (CPO)-prototype in een technisch artikel. Door de datacenterbandbreedte aanzienlijk te vergroten, kan de GPU-downtime worden geminimaliseerd, waardoor de AI-verwerking wordt versneld.
IBM legt uit dat de trainingstijd voor grote taalmodellen (LLM) kan worden teruggebracht van drie maanden naar drie weken. Tegelijkertijd zal het verbeteren van de energie-efficiëntie het energieverbruik verminderen en de kosten die gepaard gaan met het trainen van LLM verlagen.