Gun jezelf een vakantie. ChatGPT wordt zo snel bijgewerkt en de verbeeldingskracht van internetgebruikers kan het niet bijhouden. Maandag kondigde ChatGPT een grote update aan met uitgebreide multimodale mogelijkheden. Als u in de toekomst het gevoel heeft dat er iets mis is met de fiets terwijl u op weg naar huis van uw werk afstapt op een deelfiets, kunt u een foto van het onderdeel maken en dit direct vragen.

Dan kom je thuis en kijk je naar je onwetende koelkastcollectie, en ChatGPT kan je vertellen welke items je moet uitkiezen voor het avondeten.

Als je na het eten en naar bed gaan nog steeds niet slaperig bent, kan het je ook enkele ASMR-diensten bieden, als je het beu bent om die bloggers op Bilibili of YouTube te horen.

In september 1985 stierf Calvino, die "Invisible Cities" schreef, aan een plotselinge beroerte. In de zomer van dit jaar zocht hij vanwege hoofdpijn hulp bij een arts. De chirurg zei dat hij nog nooit zo'n complex en kwetsbaar brein had gezien.

ChatGPT begon als een ongelooflijk mooi brein – en onzichtbaar – maar nu heeft het eindelijk ogen, oren en een mond.

Netizens over de hele wereld: kom op, laten we gebaren maken.


Bron: Twitter

Iemand heeft het geprobeerd, en het kan in principe de ontwikkeling van softwareprojecten voor anderen doen.

De geboorte van een softwareproject gaat ongeveer als volgt: teken eerst een wireframe op het whiteboard, zoek de indelingslogica uit, begin dan met het schrijven van code en genereer ten slotte de interface. Wat dit betreft is het werk op het whiteboard uw eigendom, en het achterlaten van het whiteboard is uw eigendom.

Een ontwikkelaar nam een ​​foto van zijn wireframe en gooide deze naar ChatGPT, en deze schreef de software rechtstreeks.

Hij speelde ook enkele kleine trucjes, zoals het vervangen van de positie van het arrangement door onregelmatige pijlen. ChatGPT zag het niet alleen, maar accepteerde het ook.

Waarschijnlijk onderschatten we nog steeds wat multimodaliteit ons zal brengen.

De ontwikkeling van kunstmatige intelligentie en menselijke intelligentie is hier tegengesteld. Mensen hebben eerst ogen, en nadat ze de wereld hebben gezien, vormen ze taal en logica, die op hun beurt de wereld die ze zien beter kunnen beschrijven en begrijpen. De verbetering van de menselijke intelligentie in de afgelopen zes miljoen jaar is uitgegroeid tot een gigantische machine learning-oven.

Wat ChatGPT betreft, deze heeft al het beste intelligentieniveau en kan veel dingen begrijpen. Wat het beperkt is de compressie van informatie door tekst, waardoor het niet in staat is toegang te krijgen tot complexere problemen. Wat gebeurt er als je zo'n brein een paar ogen geeft? Dat wil zeggen, het is toegestaan ​​om beeldinformatie rechtstreeks te zien en het vermogen om problemen te demonteren begint te exploderen.

Iemand gaf ChatGPT een interfacediagram van SaaS-software en vroeg het om het op te splitsen in kleine componenten en alle code uit te schrijven, wat het ook deed.

Je kunt het zelfs een ruwe screenshot geven van Unity's bewerkingsinterface en vragen om een ​​proces voor het toevoegen van modelacties.


Bron: Twitter

Na het openen van multimodale mogelijkheden zijn de begrips- en redeneermogelijkheden van ChatGPT intuïtiever geworden, zelfs een beetje eng.

Geef jezelf een minuutje en kijk of je de betekenis van deze reeks afbeeldingen begrijpt:


Bron: Twitter

Dit is de interpretatie van ChatGPT:


Bron: Twitter

"Deze reeks strips lijkt het belang van communicatie, begrip en afstemming in een team te benadrukken." ChatGPT eindigde aan het einde.

Dit soort begrip schokte Pietro Schirano, een AI-ingenieur die bij Facebook en Uber had gewerkt, en was sprakeloos.

Naast ogen zijn er oren en mond.

Achter deze ChatGPT-upgrade is de spraakherkenningsmogelijkheid gebaseerd op het open source Whisper-model, en de geluidsgeneratiemogelijkheid is gebaseerd op een aanvullend TTS-model (text-to-speech). Momenteel ondersteunt spraaksynthese vijf stemmen, die allemaal worden geproduceerd in samenwerking met professionele stemacteurs.

Maar je ziet ChatGPT op twee mobiele telefoons zichzelf voor je bespreken, over "Heeft een gebruiker geprobeerd karaoke met je te zingen?" - het vraagt ​​niet jou, het vraagt ​​een ander - het lijkt zijn tijd iets te ver vooruit te zijn.

Bovendien lijkt het de potentie te hebben om psychiater te worden. Lilian Weng, lid van het OpenAI-beveiligingsteam, had een zeer emotioneel privégesprek met ChatGPT in stemmodus, waarin ze sprak over stress en de balans tussen werk en privé.

"Het grappige is dat ik me gehoord en warm voel", zei Lilian Weng op Twitter. Ze suggereerde dat als je het alleen als productiviteitstool gebruikt, je beter de delicatere kant ervan kunt proberen.


Bron: Twitter

Wat de evolutie van ChatGPT zelf betreft, legt het openstellen van de multimodale mogelijkheden die in 2022 zijn getraind ook een nieuwe basis voor toekomstige evolutie.

ChatGPT-hoofdarchitect John Schulman zei een maand geleden in een podcast van Pieter Abbeel (de mentor van John Schulman toen hij zich tijdens zijn PhD aan de University of California, Berkeley concentreerde op versterkend leren) dat hij van mening was dat de prestatieverbeteringen die door bestaande data- en modelschalingsmethoden worden veroorzaakt na verloop van tijd de limiet kunnen bereiken. Daarna zullen de verbeteringen die worden gebracht door algoritmen, datasets, datasetgroottes en rekenkracht geleidelijk afnemen.

"Dus het toevoegen van multimodale mogelijkheden zal enorme prestatieverbeteringen met zich meebrengen. Hierdoor kan het model kennis opdoen die niet uit tekst kan worden verkregen en mogelijk taken beheersen die pure taalmodellen niet kunnen uitvoeren. Modellen kunnen bijvoorbeeld enorme voordelen behalen door het bekijken van video's die interactie hebben met de fysieke wereld of zelfs met computerschermen. Alle software is ontworpen voor mensen, en als het model pixels kan observeren en de video kan begrijpen, kunnen we allerlei bestaande software gebruiken of mensen helpen deze te gebruiken. Door het model nieuwe mogelijkheden te geven en het model te laten interageren met nieuwe dingen, zullen de feitelijke mogelijkheden van het model aanzienlijk worden vergroot. model."

Dus wat kan ChatGPT volgende maand doen? Ik kijk er zo naar uit.