Generatieve AI-services kunnen worden gebruikt om generieke tekstfragmenten, ongelooflijke afbeeldingen en zelfs codescripts in verschillende programmeertalen te genereren. Wanneer LLM echter wordt gebruikt om twijfelachtige of betekenisloze rapporten te produceren, kunnen de resultaten voor een groot deel schadelijk zijn voor de projectontwikkeling.

Daniel Stenberg, de oorspronkelijke auteur en hoofdontwikkelaar van de curl-software, schreef onlangs over de problematische impact van LLM- en kunstmatige-intelligentiemodellen op het project. De Zweedse programmeur merkte op dat het team een ​​bugbounty-programma heeft dat echte geldbeloningen biedt aan hackers die beveiligingsproblemen ontdekken, maar dat oppervlakkige rapporten die via AI-services zijn gemaakt een echt probleem aan het worden zijn.

Het bugbountyprogramma van Curl heeft tot nu toe $70.000 aan beloningen uitbetaald, zei Stenberg. De programmeur ontving in totaal 415 kwetsbaarheidsrapporten, waarvan 77 "informatieve" rapporten, en 64 werden uiteindelijk bevestigd als beveiligingsproblemen. Een aanzienlijk aantal gemelde problemen (66%) waren geen beveiligingsproblemen of veelvoorkomende kwetsbaarheden.

Generatieve AI-modellen worden steeds vaker gebruikt (of voorgesteld om te worden gebruikt) als een manier om complexe programmeertaken te automatiseren, maar LLM staat bekend om zijn ‘illusie’ en opmerkelijke vermogen om betekenisloze resultaten te leveren terwijl het absoluut vertrouwen heeft in de output ervan. In de woorden van Sternberg zelf ziet AI-gebaseerde rapportage er beter uit en lijkt zinvol, maar ‘betere rotzooi’ is nog steeds rotzooi.

Programmeurs zouden meer tijd en moeite aan het rapport moeten besteden voordat ze het uitzetten, zei Sternberg. Door AI gegenereerde rommel helpt het project helemaal niet, omdat het de tijd en energie van ontwikkelaars wegneemt van productief werk. Het curl-team moet elk rapport goed onderzoeken, en modellen voor kunstmatige intelligentie kunnen de tijd die nodig is om foutrapporten te schrijven die misschien niet eens bestaan, exponentieel verkorten.

Sternberg haalde twee neprapporten aan die waarschijnlijk door kunstmatige intelligentie zijn gemaakt. Het eerste rapport beweert een reëel beveiligingsprobleem te beschrijven (CVE-2023-38545) dat nog niet eens is onthuld, maar vol zit met ‘klassieke AI-achtige hallucinaties’. Sternberg zei dat feiten en details uit oude veiligheidskwesties door elkaar werden gehaald om iets nieuws te creëren dat “geen verband” had met de werkelijkheid.

Een ander rapport dat onlangs op HackerOne is ingediend, beschrijft een potentiële kwetsbaarheid voor bufferoverloop bij de verwerking van WebSocket. Sternberg probeerde enkele vragen te stellen over het rapport, maar kwam uiteindelijk tot de conclusie dat de bug niet echt was en dat hij waarschijnlijk tegen een AI-model praatte in plaats van tegen een echt persoon.

De programmeur zei dat kunstmatige intelligentie "veel goede dingen" kan doen, maar ook kan worden gebruikt om de verkeerde dingen te doen. In theorie kunnen LLM-modellen worden getraind om beveiligingsproblemen op een productieve manier te rapporteren, maar we moeten hier nog steeds ‘goede voorbeelden’ van vinden. Sternberg zei dat door AI gegenereerde rapporten in de loop van de tijd steeds gebruikelijker zullen worden, dus teams moeten leren hoe ze ‘door AI gegenereerde’ signalen beter kunnen activeren en deze valse rapporten snel kunnen verwerpen.