CloudFlare, door netizens de Cyber Bodhisattva genoemd, heeft onlangs AI-crawlerbeveiligingsinstellingen gelanceerd voor alle gratis gebruikers. Deze functie was eigenlijk al eerder beschikbaar, maar moet volgens regels worden ingesteld. Voor de regelfunctie is een abonnement zoals CloudFlarePro vereist.
De onlangs gelanceerde AI-crawlerbescherming (AIScrapers en Crawlers) is een instelling met één klik voor alle gebruikers. Of ze nu gratis of geabonneerde gebruikers zijn, ze hoeven deze optie slechts met één klik in te schakelen.
CloudFlare zei dat het inschakelen van deze optie zal voorkomen dat robots en crawlers website-inhoud crawlen voor het trainen van kunstmatige-intelligentiemodellen, wat kan voorkomen dat sommige kunstmatige-intelligentiebedrijven website-inhoud rechtstreeks zonder toestemming kunnen bemachtigen.
Het werkingsprincipe erachter is nog niet duidelijk, maar de kans is groot dat CloudFlare veelvoorkomende AI-crawlers, zoals OpenAI's GPTBot, heeft uitgezocht en geïdentificeerd, en deze alleen hoeft te onderscheppen op basis van de namen van deze crawlers.
CloudFlare biedt beveiligingsbescherming en distributiediensten voor miljoenen websites, dus deze functie heeft praktische betekenis. Veel websites, vooral nieuwsmediawebsites, zijn immers auteursrechtelijk beschermd.
Maar het probleem is dat crawler-identificatie zelf ook een manier is om bescherming te bieden tegen slechteriken en niet tegen schurken. Het is gemakkelijk om ermee om te gaan als OpenAI zijn eigen crawlernaam publiceert en stelt dat het zich aan het robots.txt-protocol zal houden. Het probleem is dat veel bedrijven zich niet aan de overeenkomst houden en hun eigen crawlernamen helemaal niet publiceren, en dat ze als een gek websites crawlen om inhoud te verkrijgen.
In dit geval moet je, als je wilt onderscheppen, een aantal tegenmaatregelen bedenken, zoals het direct verbieden van UA die vaak crawlt, het inschakelen van de real-person verificatie van CloudFlare en andere functies om te voorkomen dat verschillende crawlers de AI-crawlerbescherming van CloudFlare omzeilen.
Hoe u deze functie inschakelt: CloudFlare, console, ga naar de bijbehorende website, beveiliging, automatisch programma en schakel AIScrapers en Crawlers in.