OpenAI heeft onlangs een nieuwe functie-update voor "Computergebruik" gelanceerd voor zijn Codex-desktopapplicatie op het macOS-platform, waardoor deze slimme codeeragent op afstand door de gebruiker geautoriseerde applicaties kan bedienen, zelfs als de Mac is vergrendeld. Deze wijziging betekent dat gebruikers Codex vanaf hun telefoon kunnen belasten en dat deze een reeks acties op hun Mac zal uitvoeren terwijl het scherm is uitgeschakeld en de computer is vergrendeld.
Volgens een voorbeeldscreenshot geplaatst door het OpenAI-ontwikkelaarsteam op een sociaal platform
Om deze functie in te schakelen, moeten gebruikers de plug-in Computergebruik installeren en deze machtigingen voor schermopname en toegankelijkheid verlenen in de systeeminstellingen. Eenmaal ingesteld, kan Codex bewerkingen uitvoeren zoals klikken op vensters, tekst invoeren, door menu's navigeren en toegang krijgen tot het klembord in toepassingen die expliciet door de gebruiker zijn geautoriseerd, waardoor normaal menselijk gebruiksgedrag in grafische interfaces wordt gesimuleerd. OpenAI zei dat deze mogelijkheid vooral gericht is op gebruiksscenario's die moeilijk te behandelen zijn met opdrachtregelprogramma's, zoals het reproduceren van bugs die alleen in de grafische interface verschijnen, het aanpassen van applicatie-instellingen of het uitvoeren van specifieke processen in desktopapplicaties die Codex helpt ontwikkelen.
Op het gebied van beveiliging en toestemmingscontrole zal Codex toestemming van de gebruiker verkrijgen voordat hij elke nieuwe applicatie voor de eerste keer overneemt. Gebruikers kunnen er ook voor kiezen om "Altijd toestaan" in te stellen voor specifieke applicaties om herhaalde bevestigingsbewerkingen te verminderen. OpenAI benadrukte ook dat deze functie in de beginfase van de lancering niet toegankelijk zal zijn voor gebruikers in de Europese Economische Ruimte, het Verenigd Koninkrijk en Zwitserland, en niet kan worden gebruikt in geautomatiseerde terminaltoepassingen, Codex's eigen toepassingen en vensters voor toestemming van beheerders op systeemniveau. Deze beperking weerspiegelt de regionale afwegingen die OpenAI nog steeds moet maken rond compliance- en beveiligingsgrenzen, terwijl de mogelijkheden voor automatisering en bediening op afstand worden versterkt.
Deze update zet ook de recente reeks functie-uitbreidingen van Codex voort, waaronder de nieuw gelanceerde ‘Appshots’-functie en ‘/goal-modus’. Onder hen stelt Appshots gebruikers in staat om met één klik schermafbeeldingen van het huidige Mac-programmavenster en de bijbehorende tekstinhoud in het Codex-gesprek te injecteren door te dubbelklikken op de Command-toets (Command-Command-snelkoppeling), zodat de agent de interfacecontext kan begrijpen en gerichte bewerkingen of suggesties kan geven. Met de /goal-modus kan Codex uren of zelfs dagen continu rond een duidelijk doel werken, waardoor er meer continuïteit en planningsmogelijkheden zijn in scenario's zoals codeeragenten, automatisering van desktopbewerkingen en taakvoortgang op de lange termijn.