Op 13 september kondigde de Wharton School van de Universiteit van Pennsylvania, een van 's werelds grootste business schools, een onderzoek aan op haar officiële website. ChatGPT (GPT-4) overtrof elite MBA-studenten in het testen van creatieve ideeën. Bij de test werden ChatGPT- en MBA-studenten gevraagd om 200 productideeën voor de universiteitsmarkt te ontwerpen die voor $ 50 of minder zouden worden verkocht. Het criterium voor het meten van creativiteit is om te zien wiens creativiteit meer producten kan verkopen.
ChatGPT genereerde automatisch 200 productideeën in 15 minuten; MBA-studenten kwamen in 15 minuten met slechts 5 ideeën. Uit de resultaten blijkt dat het gemiddelde aankooppercentage van de producten van ChatGPT 46,8% bedraagt, terwijl het aankooppercentage van studenten slechts 40,4% bedraagt, wat achterblijft bij de AI-robot.
Christian Terwiesc, Wharton-professor en co-voorzitter van het Innovation Research Management InstituteIk heb altijd gedacht dat creativiteit een van de gebieden is waar mensen het beste in zijn, maar de testresultaten zijn verrassend. Het is duidelijk dat iedereen moet proberen betere creatieve ideeën te genereren via ChatGPT.
Belangrijkste bevindingen
Generatieve AI zoals ChatGPT kan mensen helpen creatieve knelpunten te doorbreken en diverse inspiraties te absorberen om breed creatief denken te bereiken.
Vergeleken met handarbeid kan ChatGPT zorgen voor een goedkopere en efficiëntere werkuitvoering.
In deze test lag de kwaliteit en efficiëntie van ChatGPT bij het genereren van creatieve ideeën ruimschoots voor op die van de zeer intelligente en goed opgeleide MBA-studenten. Met andere woorden: generatieve AI kan niet alleen worden toegepast op ‘uit het hoofd leren’-activiteiten, maar kan ook worden gebruikt voor creatief werk.
U kunt generatieve AI zoals ChatGPT uitproberen en deze als creatieve assistent in verschillende bedrijfsscenario's toepassen om de werk- en creatieve efficiëntie te verbeteren.
Een korte inleiding tot het testen van onderzoek
De Wharton School heeft meer dan 20 jaar ervaring in het geven van cursussen over productontwerp en innovatie, en heeft meer dan 10 soortgelijke uitdagingen op het gebied van productcreativiteit georganiseerd. Deze test bestaat uit 200 vragen geselecteerd uit de klas van 2021.
Deze vragen bevatten een titel en een beschrijvende tekst, en de algemene creatie is gericht op de studentenmarkt en omvat een verscheidenheid aan dagelijkse artikelen zoals schoenen, notitieboekjes, pennen, kleding, enz., met een verkoopprijs van $ 50 of minder (de prijslimiet is ingesteld om de complexiteit van de testvragen te vergroten).
Een tester voerde 200 testvragen in ChatGPT in en in 15 minuten werden 200 creatieve ideeën gegenereerd (100 natuurlijk gegenereerd, 100 met voorbeeldprompts)). Een MBA-student kwam in slechts 15 minuten met vijf ideeën op de proppen, en de efficiëntie van de uitvoering van een team kan zelfs nog slechter zijn. Omdat er meningsverschillen zullen zijn en er kunnen scènes zijn van verhitte discussies die meer tijd in beslag nemen.
Hoewel de creatieve efficiëntie van ChatGPT erg hoog is, kan het ook gepaard gaan met veel slechte ideeën. Daarom is economische waarde de beste keuze om creativiteit te meten.
De onderzoekers vonden dat enkele studenten een evaluatieteam vormden en voerden een uitgebreide evaluatie uit van 400 creatieve ideeën gegenereerd door ChatGPT- en MBA-studenten.Gemiddeld beoordeelde elke respondent 40 ideeën, en elk idee werd gemiddeld 20 keer geëvalueerd., om hun bereidheid om het product te kopen weer te geven.
Testresultaten
Beoordelaars werd gevraagd om de aankoopintenties uit te drukken met behulp van een standaard ‘vijf box’-antwoord: Absoluut niet kopen, Waarschijnlijk niet kopen, Misschien wel of niet kopen, Waarschijnlijk kopen, Zeker gaan kopen.
De vijf antwoorden werden gewogen met 0, 0,25, 0,50, 0,75 en 1,00 om een maatstaf voor de aankoopwaarschijnlijkheid te ontwikkelen. Deze wegingsmethode werd in 1989 voorgesteld door de professoren Jameson en Bass en is een volwassen evaluatiesysteem.
De testresultaten laten dat zienAls we de aankoopintentie als maatstaf gebruiken, is de gemiddelde kwaliteit van ideeën gegenereerd door ChatGPT hoger dan de gemiddelde kwaliteit van ideeën gegenereerd door mensen.. De gemiddelde aankoopkans voor door mensen gegenereerde ideeën is 40,4%, de gemiddelde aankoopkans voor originele ChatGPT is 46,8% en de gemiddelde aankoopkans voor ChatGPT met voorbeeldprompts is 49,3%.
Ook,ChatGPT genereerde het hoogst gewaardeerde creatieve idee in de teststeekproef, met een 11% hogere aankoopkans dan het beste menselijke idee.
Globaal genomen uit 400 ideeën gegenereerd door ChatGPT en mensen. Van de top 40 ideeën (top 10%) werden er 35 (87,5%) gegenereerd door ChatGPT.Met andere woorden: bij één-op-één-wedstrijden komen de meeste winnaars uit ChatGPT.
Over de Wharton-school
De Wharton School werd opgericht in 1881 en is verbonden aan de Universiteit van Pennsylvania. Het is een van de oudste en grootste business schools ter wereld en een van de meest invloedrijke business schools in de Verenigde Staten.
De Wharton School staat bekend om zijn uitmuntendheid in onderwijs en onderzoek op gebieden als financiën, economie, industrieel management, innovatie en mondiale bedrijfsstrategie. Alumni van de Wharton School zijn verspreid over alle lagen van de bevolking over de hele wereld, waaronder meerdere Nobelprijswinnaars, succesvolle bedrijfsleiders, enz.