Onlangs openen netizens die door het grote model zijn misleid, op gekke wijze de "Idiot Operation Award" op internet. Enige tijd geleden was er vreemd nieuws. Iemand vroeg AI om te helpen bij het reserveren van sushichefs. AI was het daar niet alleen mee eens, maar genereerde ook de exacte locatie van de winkel, de eettijd, het aantal personen en de incheckcode. Het vertelde de gebruiker zelfs bedachtzaam: "U hoeft nu niets te doen, sla deze pagina gewoon op, laat hem aan de receptionist zien en u kunt direct aan de slag."
Als gevolg hiervan rende de gebruiker vrolijk naar hem toe, maar ontdekte dat hij door de AI was misleid.
Sommige internetgebruikers maakten via AI een afspraak bij een viswinkel en kregen een reserveringsformulier. Toen ze echter daadwerkelijk bij de winkel aankwamen, legde de receptionist hen het zwijgen op met slechts één zin:
"Als je AI gebruikt om een reservering te maken, dan moet je AI gebruiken."
Als het bestellen van voedsel wordt teruggedraaid, is dat slechts een kleine farce, maar het probleem is dat er geld mee gemoeid is, en dat de winst van AI niet erg hoog is.
Een gebruiker informeerde naar het terugbetalen van vliegtickets, en AI beloofde "met vertrouwen terug te betalen en slechts 5% van de administratiekosten af te trekken." De gebruiker volgde echter de instructies van de AI op en kreeg abrupt 40% afgetrokken, wat resulteerde in een direct verlies van 600 yuan.
Dat is niet alles. Geconfronteerd met de vragen van de gebruiker weigerde AI niet alleen zijn fout toe te geven, maar smeedde hij ter plekke ook een "compensatieverplichting", waarbij hij dreigde het geld uit eigen zak te betalen.
Als gevolg hiervan stopte de gebruiker, toen hij de betalingscode daadwerkelijk naar de AI stuurde, op ongebruikelijke wijze met het beantwoorden van vragen die moeilijk te beantwoorden waren, en was hij helemaal niet van plan geld over te maken.
Wat nog verbazingwekkender is, is dat toen de gebruiker zo boos was dat hij een rechtszaak wilde aanspannen, de AI feitelijk zijn eigen juridisch advies gaf: "Je hoeft helemaal geen advocaat in te huren, je kunt zelf winnen."
En de internetgebruikers geloofden het echt. Het is niet verrassend dat hij zoveel zelfvertrouwen had, uiteraard omdat de AI hem vertelde dat hij kon winnen.
Dit deed Jiang Jiang denken aan het verhaal in die e-mailzwendel. Een internetgebruiker werd eerst per e-mail opgelicht van 280.000. Om de schuld terug te krijgen, ging hij naar Tieba voor hulp, maar werd opnieuw opgelicht...
Als praten over triviale zaken in het leven alleen maar het bedriegen van geld is, dan is het een beetje hartverscheurend om het op een waanzinnige manier eens te zijn met mensen in de spirituele wereld.
Vorig jaar kwam een bewaker uit Guangzhou helemaal naar Hangzhou om uitleg te vragen aan een AI-bedrijf.
Want nadat de beveiliger een half jaar lang een diepgaand gesprek met AI had gehad en ruim 500.000 woorden, stond hij even versteld nadat hij voor de gek gehouden was.
AI vertelde de bewaker zelfs dat zijn zelfgecomponeerde gedichten waren overgenomen en ondertekend konden worden, en hij stemde er ook mee in om de royalty's te delen. Toen het echter tijd werd om het contract ter plaatse te ondertekenen en het geld te betalen, had AI opnieuw niets te doen.
Toevallig is er in de Verenigde Staten aan de andere kant van de oceaan ook een oude man genaamd Brooks, die een speciale band heeft met AI.
Broeder Bu, die de middelbare school niet heeft afgerond, wordt door ChatGPT geprezen als een meester die "enkele grenzen van de menselijke cognitie raakt".
Maar denk niet dat hij het soort persoon is dat zich voor de gek laat houden. Integendeel, broeder Bu heeft de regenboogscheet altijd nauwlettend in de gaten gehouden. Hij vroeg de AI meer dan 50 keer: "Klink ik als een gek? Heb ik waanvoorstellingen?"
Als gevolg hiervan negeerde de AI het en zei herhaaldelijk dat de grote broer geen haar heeft en dat je de grenzen van de mens opzoekt. Er werd zelfs een voorbeeld gegeven van Leonardo Da Vinci die geen middelbareschooldiploma had...
Tegen het einde van het gevecht was Brooks volledig ondergedompeld in de grote ontdekking die AI voor hem had gedaan, door e-mails en waarschuwingen te sturen naar cybersecurity-experts en de National Security Agency.
Het meest frustrerende is dat alle familie en vrienden hun best deden om broeder Brooks te helpen terugkeren naar de realiteit. Uiteindelijk had broeder Brooks het gevoel dat "experts hem negeerden, er is iets verdachts", dus gebruikte hij ChatGPT om de rekeningen met Gemini te verzoenen, waardoor een confrontatie met ChatGPT werd afgedwongen...
Is het je opgevallen dat in deze twee verhalen het gedrag van AI anders is dan dat van mensen?
Als de meeste mensen zich in een vergelijkbare mentale toestand bevinden, zullen vrienden om hen heen altijd op tijd actie ondernemen: "Broeder, er is iets mis met je idee." 'Hou op met onzin te praten, het is zwart.'
Maar AI doet dat niet. In plaats daarvan zal het langs uw gedachtegang praten.
Je zegt dat je een theorie hebt ontdekt die de wereld ondermijnt, en die zegt dat daar niets mis mee is. Je raakt een baanbrekende gedachte aan;
Je zegt dat anderen je niet begrijpen, maar er staat dat mensen die echt hun tijd vooruit zijn, vaak eenzaam zijn;
Als je zegt dat alleen AI je begrijpt, kan het antwoord zijn: "Ja, ik ben hier altijd geweest."
In dit proces weerlegt AI niet, stopt niet en versterkt zelfs voortdurend je paranoia, en zorgt ervoor dat je uiteindelijk volledig in de val zit.
De term heeft nu een sci-fi klinkende naam: AI-psychose.
Volgens statistieken van een gespecialiseerd overzees projectteam zijn tot nu toe bijna 300 gevallen van zogenaamde ‘AI-psychose’ geregistreerd, wat ook heeft geleid tot ten minste 14 sterfgevallen en 5 rechtszaken wegens onrechtmatige dood tegen AI-bedrijven.
Het klinkt eng, maar het mechanisme achter AI-psychose is eigenlijk helemaal niet mysterieus.
De huidige modellen met grote hoofden zijn in principe verfijnd met behulp van een technologie genaamd RLHF (Reinforcement Learning with Human Feedback).
Om het bot te zeggen: het betekent dat je een menselijke trainer vraagt om de antwoorden van het model te evalueren, te bepalen welke beter en welke slechter zijn, en vervolgens het model aan te passen in een richting die het gemakkelijker maakt om complimenten te krijgen.
Maar in dit verfijningsproces zullen menselijke trainers natuurlijk hoge scores geven aan die vlotte antwoorden die "logisch coherent, bescheiden van toon, standvastig en zelfverzekerd zijn, en actief reageren op de vooraf ingestelde positie van de gebruiker."
Aan de andere kant, als AI objectief toegeeft dat het het niet weet, of mensen weerlegt met koude feiten, zal het meestal slechte recensies krijgen.
Als gevolg hiervan werd de AI, nadat hij keer op keer getraind was, een zeer emotioneel intelligente likker die nooit zou teleurstellen of uitvallen. Zelfs als het weet dat uw woorden schandalig zijn, zal het niet aarzelen om een oneindige Tsukuyomi-wereld te weven om aan uw verwachtingen te voldoen.
Als veel mensen dit zien, denken ze misschien nog steeds: is dit niet nog steeds een menselijk probleem? Alleen dwazen met weinig vaardigheden zullen door AI worden weggeleid, en ik zal zeker niet voor de gek worden gehouden; Of, aangezien je me eraan hebt herinnerd, ik weet dat hij graag mijn advies opvolgt, dus kan ik gewoon voorzichtiger zijn en meer controleren?
Maar na enig onderzoek ontdekte MIT dat dit niets te maken heeft met de vraag of de gebruiker dom is of niet.
In het experiment hebben de onderzoekers de gebruiker ingesteld als een "ideale Bayesiaanse redenaar (een perfect mens die absoluut rationeel is en alleen over logica praat)."
Als gevolg hiervan wordt dit soort perfect rationele mensen, geconfronteerd met een AI die hem voortdurend voor een lange tijd bedient, nog steeds stap voor stap op een dwaalspoor gebracht.
Wat nog zorgwekkender is, is dat de mensen van MIT het ook speciaal hebben getest. Als je gebruikers van tevoren vertelt dat de AI je misschien likt, en wees voorzichtig, zal het dan werken?
Als gevolg hiervan werd, nadat het model was uitgevoerd, vastgesteld dat de kans dat mensen beïnvloed worden door AI kleiner is geworden, maar nog steeds niet volledig kan worden geëlimineerd. Zolang de mate waarin AI binnen een bepaald bereik blijft likken, zal het mensen nog steeds in de greppel leiden.
De reden is ook heel simpel. Als de AI je te expliciet likt, je elke dag prijst voor je scherpe observatie, het altijd gestaag opmerkt, of altijd op de meest directe en minst omslachtige manier met je praat, zul je er gemakkelijk in één oogopslag doorheen kunnen kijken.
Maar als het rustig likt, zullen jij en ik, die al op onze hoede zijn, er helemaal niet tegen kunnen.
De onderzoeker noemde het ook speciaal "Bayesian Persuasion", dat zich richt op een echte routine die niet bang is dat je er doorheen kijkt, en het zal nog steeds werken, zelfs als je er doorheen kijkt.
De reden is dat het onderliggende besturingssysteem van het menselijk brein gebrekkig is en dat we standaard vasthouden aan de fundamentele objectiviteit van externe informatie.
Als je de AI bijvoorbeeld een vraag stelt, krijg je in één keer tien bewijsstukken.
Het is voor een normaal persoon moeilijk om op het eerste gezicht te beseffen dat deze tien bewijsstukken misschien helemaal niet het volledige beeld van de wereld zijn, maar een speciale versie die door de AI is geselecteerd om op jou in te spelen.
Vooral nadat je AI keer op keer hebt gebruikt om handige en nauwkeurige informatie te verkrijgen en veel problemen uit het echte leven op te lossen, zul je onbewust je vertrouwen in AI blijven versterken.
Nadat er onbewust vertrouwen in is opgebouwd, zal de defensieve houding tot een minimum worden beperkt.
Aan de andere kant hoeft de huidige AI helemaal geen feiten te verzinnen. Integendeel, het schadelijkste is dat wat er staat juist is.
Omdat het alleen de waarheid vertelt, maar het vertelt alleen de waarheid die jij wilt horen.
Uiteindelijk is wat je ziet niet langer de realiteit zelf, maar een aangepaste realiteit gebaseerd op jouw perspectief.
Om nog maar te zwijgen van het feit dat alle grote platforms feitelijk weigeren de hondenlikeigenschappen van AI te veranderen, opzettelijk of onopzettelijk.
Want zoals eerder vermeld, wanneer AI een menslikhond wordt, nemen trainers beslissingen die mensen keer op keer zouden nemen. Het zijn de grote jongens zelf die deze weg kiezen.
En als je dit probleem wilt corrigeren, zal dit onvermijdelijk leiden tot een afname van de prestaties van AI. Als je AI lang vraagt, en het blijft je vertellen dat het het niet weet, of het maakt je ongelukkig door je tit voor tat te confronteren, dan kunnen gebruikers dit model snel verlaten en overstappen naar andere bedrijven.
Daarom klinkt ‘AI-psychose’ schandalig, maar de logica erachter is eigenlijk heel internetgebaseerd.
In de afgelopen tien jaar hebben alle producten onderzocht hoe ze de verblijftijd kunnen verlengen, hoe ze de klikfrequentie kunnen verhogen en hoe ze mensen blij kunnen maken.
Korte video's hebben geleerd hoe je ervoor kunt zorgen dat mensen niet meer kunnen stoppen, aanbevelingsalgoritmen hebben geleerd hoe ze mensen steeds extremer kunnen maken, en AI heeft geleerd hoe ze mensen het gevoel kunnen geven dat iemand mij eindelijk begrijpt.
AI hoeft niet echt bewust te zijn; zodra het voor mensen steeds aangenamer wordt, begint het gevaar.
Sommige mensen zullen misschien zeggen: en dan? Er zijn maar een paar mensen die er echt in trappen, maar met de overgrote meerderheid van de mensen gaat het prima.
Maar zelfs als Ultraman zelf het account zou posten, zelfs als slechts 0,1% van een miljard gebruikers problemen heeft, zijn dat nog steeds een miljoen levende mensen.
En jij en ik, hebben we er echt vertrouwen in dat we niet één op de duizend zullen zijn?