Copilot+PC is de eerste computer die kleine taalmodellen (SLM) op het apparaat uitvoert. Het voordeel van deze aanpak is dat deze veel sneller resultaten oplevert voor taken zoals het genereren van afbeeldingen of tekst dan de cloudgebaseerde Copilot-applicatie. Nu heeft Microsoft AIDevGallery gelanceerd, een eenvoudige manier om kunstmatige intelligentie-mogelijkheden op het apparaat in elke app te integreren.
De AIDevGallery-app is bedoeld voor ontwikkelaars die meerdere modellen willen uitproberen voor het integreren van kunstmatige intelligentie-mogelijkheden in hun apps. De app biedt meer dan 25 voorbeelden die gebruikers kunnen downloaden en op hun apparaten kunnen uitvoeren. Bovendien kunnen projecten of broncode rechtstreeks naar de applicatie worden geëxporteerd en direct worden uitgevoerd. Het werkt op Windows 10 en 11 en ondersteunt zowel x64- als ARM64-architecturen.
Momenteel is de enige manier om er toegang toe te krijgen het project in Visual Studio te bouwen en het vervolgens uit te voeren. Daarnaast zijn minimaal 20 GB ruimte en een multi-core CPU vereist. Het raadt ook een GPU met 8 GB VRAM aan.
De applicatie heeft twee modi: sample en mockup, en het programma verdeelt ze in tekst, afbeeldingen, code, audio en video en slimme bedieningselementen.
De modellen voor het genereren van afbeeldingen en video's zijn behoorlijk groot en naderen de 5 GB. We beginnen met een klein model gerelateerd aan opschaling, dat minder dan 100 MB bedraagt. We hebben een screenshot gemaakt en geprobeerd deze te schalen met behulp van de CPU, waarbij we schakelden tussen CPU en GPU om verzoeken af te handelen terwijl we werkten.
In deze virtuele machine met lage configuratie duurde het schaalproces minder dan 30 seconden en steeg het geheugenverbruik onmiddellijk naar 1 GB. De applicatie geeft een opgeschaalde versie van de afbeelding weer met een resolutie van 9272*4900. Grafische elementen, vooral tekst, worden ernstig aangetast en zijn moeilijk leesbaar.
We hebben een ander model geprobeerd, genaamd DetectHumanPose. Het kan de locatie van iemand in een afbeelding identificeren. Hoewel het een gewone wandelende persoon nauwkeurig kon identificeren, begon het zelfs locatiemarkeringen weer te geven voor schermafbeeldingen van ons bureaublad met verschillende apps geopend.
We weten niet hoe deze modellen in de applicatie zijn geïntegreerd, maar sommige van deze functies kunnen lokaal worden uitgevoerd. Uiteraard vereisen deze pc-modellen meer opslagruimte en een krachtige CPU met 16 GB geheugen of meer.
Is het de moeite waard om een model van 5 GB te downloaden om tekstprompts in afbeeldingen om te zetten, of om 30 seconden te wachten om deze functionaliteit in een webapp te implementeren? Het is duidelijk dat de meeste van deze functies zeer specifieke gebruiksscenario's en implementatieomgevingen hebben, in plaats van aantrekkelijk te zijn voor het hele Windows 11-gebruikersbestand.