Microsoft versoepelt de ‘harde lijn’ die het eerder rond Copilot+ pc’s trok, waardoor meer Windows 11-apparaten native AI-workloads kunnen uitvoeren als ze over de juiste GPU beschikken.De nieuwste update laat zien dat systemen met een NVIDIA GeForce RTX 30-serie of nieuwere grafische kaart met minimaal 6 GB videogeheugen de lokale taalmodel-API van Windows ondersteunen. Oppervlakkig gezien is dit slechts een kleine verandering voor ontwikkelaars, maar het geeft aan dat Microsoft aan het heroverwegen is of het zijn native AI-mogelijkheden strak onder het merk Copilot+ wil koppelen.
Toen Copilot+ PC officieel werd uitgebracht op 18 juni 2024 was de boodschap van Microsoft heel duidelijk: speciale AI-hardware is een vereiste. Enkele van de bepalende kenmerken van dit type apparaat zijn ingebouwde neurale verwerkingseenheden (NPU's), evenals basisconfiguraties zoals 16 GB geheugen en solid-state drives. Onder hen is NPU opzettelijk gevormd als de sleutel tot het ontsluiten van de native AI-mogelijkheden van Windows.
NPU’s zijn echter niet de enigen die AI-workloads aankunnen. Vooral moderne GPU's zijn gebouwd voor massaal parallel computergebruik en worden al lang gebruikt om machine learning-modellen uit te voeren. In de praktijk kunnen GPU’s voor veel AI-workloads vaak hogere doorvoermogelijkheden bieden dan huidige NPU’s, vaak ten koste van een hoger energieverbruik.
Vóór deze aanpassing beperkte Microsoft de meeste ingebouwde AI-mogelijkheden tot apparaten met NPU's. Dit verhindert dat veel pc's met voldoende rekenkracht en uitsluitend afhankelijk zijn van GPU's gebruik kunnen maken van lokale tekst- en beeldgeneratie, evenals van een reeks AI-tools zoals Windows Recall. Tegenwoordig begint deze kloof te worden overbrugd. Microsoft bevestigde in een bijgewerkt technisch document en GitHub-bericht dat ontwikkelaars nu de taalmodel-API kunnen uitvoeren op niet-Copilot+ pc's met ondersteunde GPU's.
In de inleiding noemt Microsoft deze mogelijkheid 'Taalmodel-API's die worden uitgevoerd op GPU's (experimenteel)', waarbij wordt opgemerkt dat deze API's nu kunnen worden uitgevoerd op niet-Copilot+ pc's met ondersteunde GPU's, waardoor mogelijkheden voor moedertaalmodellen beschikbaar komen voor een groter aantal Windows 11-apparaten. De functionaris verduidelijkte ook dat de momenteel ondersteunde hardware de NVIDIA GeForce RTX 30-serie en nieuwere producten omvat die zijn uitgerust met meer dan 6 GB videogeheugen.
In het huidige stadium bevindt deze mogelijkheid zich nog steeds voornamelijk op ontwikkelaarsniveau en staat deze niet direct open voor gewone eindgebruikers. Om deze API's aan te roepen, moet u een applicatie ontwikkelen of gebruiken die het Windows AI Framework integreert. Dit heeft echter de basis gelegd voor de enorme uitbreiding van native AI-mogelijkheden naar meer Windows-apparaten.
De kern van dit raamwerk is een klein lokaal taalmodel genaamd Phi Silica. In plaats van vooraf op alle systemen te zijn geïnstalleerd, wordt Phi Silica op aanvraag gedistribueerd via Windows Update: het model wordt alleen gedownload wanneer een app daarom vraagt. Zodra het model is geïnstalleerd, kan het op lokale hardware worden uitgevoerd. Wanneer een beschikbare GPU wordt gedetecteerd, wordt de GPU eerst gebruikt om de gevolgtrekking te versnellen.
De momenteel onthulde functies richten zich voornamelijk op tekstgerelateerde taken. Via de Windows.AI.Text API kunnen apps bewerkingen uitvoeren zoals het samenvatten van inhoud, het herschrijven van tekst, het converteren van tekst naar een gestructureerd formaat en het genereren van aanwijzingen. Vanuit gebruikersperspectief zijn deze mogelijkheden vergelijkbaar met de ervaring die wordt geboden door cloud AI-tools, behalve dat de berekeningen volledig lokaal worden voltooid.
Lokaal werken brengt een aantal praktische voordelen met zich mee. Door de afhankelijkheid van cloud computing-kracht te verminderen, wordt verwacht dat de reactiesnelheid van het systeem zal worden verbeterd. Tegelijkertijd hoeven gegevens niet naar externe servers te worden geüpload, waardoor de gegevens op de lokale machine blijven. Dit model is potentieel aantrekkelijk voor zowel ontwikkelaars als zakelijke gebruikers in termen van latentie, bandbreedtekosten en privacy-compliance, wat van invloed zou kunnen zijn op de manier waarop zij AI-mogelijkheden adopteren.
Opgemerkt moet worden dat deze opening niet betekent dat het Copilot+ systeem volledig “ontgrendeld” is. Sommige van de meer zichtbare Copilot+-functies, zoals Windows Recall en Click to Do, zijn momenteel nog steeds gekoppeld aan NPU-aangedreven systemen. Zoals het er nu uitziet, is GPU-ondersteuning voornamelijk beperkt tot de API-laag van het taalmodel, in plaats van volledige integratie in de hele AI-ervaring.
Hoewel er beperkingen blijven bestaan, is de trend al duidelijk: Microsoft ziet de NPU niet langer als het enige toegangspunt voor Windows-native AI. Door de GPU dit deel van de werklast te laten afhandelen, wordt het bereik van compatibele hardware aanzienlijk uitgebreid en wordt het ‘native AI-only’-imago dat Copilot+ PC had bij de lancering verzwakt.