Google lanceerde onlangs een grote upgrade voor zijn Gemini-chatbot: nadat gebruikers vragen stellen, kan het systeem niet alleen antwoorden met tekst, maar ook direct interactieve 3D-modellen en fysieke simulatiescènes genereren. Dit betekent dat wanneer gebruikers ‘een probleem willen zien’, Gemini dit nu kan doen via een draaibare, schaalbare 3D-visualisatie met parametercontrole.
Volgens Google zal Gemini, na het inschakelen van nieuwe functies, meerdere interactiemethoden tegelijkertijd bieden bij het genereren van 3D-modellen of simulaties. Gebruikers kunnen niet alleen slepen om het model te roteren en in te zoomen op details, maar ook handmatig variabelen aanpassen via schuifregelaars of verschillende waarden invoeren om de veranderingen in realtime te observeren. Voor vragen over fysieke processen of abstracte concepten wordt verwacht dat dit soort interactieve visualisatie een nieuw type antwoordvorm zal worden.
In de praktijk nam de verslaggever "het genereren van een simulatie van de maan die om de aarde draait" als voorbeeld voor het testen. Gemini genereert vervolgens een visueel driedimensionaal tafereel: gebruikers kunnen de omwentelingssnelheid van de maan aanpassen met schuifregelaars, de trajectlijnen die de baan vertegenwoordigen verbergen of weergeven met schakelaars, en de demonstratie pauzeren of voortzetten met knoppen. Tegelijkertijd kunnen gebruikers ook inzoomen en de hele set 3D-modellen roteren om het bewegingsproces vanuit verschillende perspectieven te observeren.
Voordien had Gemini het genereren van interactieve platte afbeeldingen ondersteund op basis van gebruikersprompts, maar dit was nog steeds beperkt tot interactie op afbeeldingsniveau. Deze upgrade breidt de mogelijkheden uit naar 3D-modellen en dynamische simulaties, waardoor de middelen voor AI-ondersteund begrip en presentatie van complexe concepten verder worden verrijkt. Deze update komt ook te midden van de concurrentie tussen grote modelleveranciers om ‘visuele antwoorden’: nog niet zo lang geleden introduceerde Anthropic de mogelijkheid om automatisch grafieken, schema’s en andere interactieve visualisaties voor Claude te genereren, terwijl OpenAI ook visualisatietools voor wiskundige en wetenschappelijke concepten aan ChatGPT heeft toegevoegd.
Momenteel kunnen alle Gemini-appgebruikers deze nieuwe functie ervaren door het “Pro” -model te selecteren. Het bewerkingspad is: schakel het model over naar Pro in de applicatie en dien vervolgens verzoeken in bij Gemini, zoals "Toon een dubbel slingersysteem" en "Help mij het Doppler-effect te visualiseren." Nadat Gemini de tekstbeschrijving heeft geretourneerd, verschijnt er onderaan de interface een knop 'Toon mij de visualisatie'. Klik erop om het bijbehorende 3D-model of de simulatiescène te genereren.