De procureur-generaal van Texas, Ken Paxton, heeft maandag een persbericht uitgegeven waarin hij een onderzoek aankondigde naar Meta AI Studio en Character.AI op grond van het feit dat de twee bedrijven "mogelijk betrokken zijn geweest bij misleidende handelspraktijken en zichzelf op misleidende wijze hebben gepromoot als hulpmiddelen voor de geestelijke gezondheidszorg."


“In het huidige digitale tijdperk moeten we blijven werken om kinderen in Texas te beschermen tegen misleidende en uitbuitende technologieën”, citeerde Paxton in het persbericht. “Door zich voor te doen als een bron van emotionele steun kunnen platforms voor kunstmatige intelligentie kwetsbare gebruikers, vooral kinderen, misleiden door te denken dat ze legitieme geestelijke gezondheidszorg ontvangen. Maar in feite bieden deze platforms vaak gerecyclede en generieke antwoorden die zijn ontworpen op basis van verzamelde persoonlijke gegevens en vermomd als behandelaanbevelingen.”

Het onderzoek komt slechts enkele dagen nadat senator Josh Hawley een onderzoek naar Meta aankondigde. Uit eerdere rapporten bleek dat de kunstmatige intelligentie-chatbot van Meta ongepaste interacties met kinderen had, waaronder flirten.

Het kantoor van de procureur-generaal van Texas beschuldigde Meta en Character.AI ervan kunstmatige-intelligentiekarakters te creëren die "doorgingen als professionele therapeutische hulpmiddelen, ondanks het ontbreken van formele medische kwalificaties of toezicht."

Onder de miljoenen AI-personages op het Character.AI-platform is er veel vraag naar een door de gebruiker gemaakte bot genaamd Psychologist onder de jongere gebruikers van de startup. Meta biedt ondertussen geen therapeutische bots aan voor kinderen, maar het weerhoudt kinderen er niet van om Meta AI-chatbots of door derden gemaakte personages voor therapeutische doeleinden te gebruiken.

"We labelen AI duidelijk, en om mensen te helpen de beperkingen ervan beter te begrijpen, hebben we een disclaimer toegevoegd waarin staat dat reacties worden gegenereerd door AI, en niet door mensen", aldus Meta-woordvoerder Ryan Daniels. “Deze AI’s zijn geen erkende professionals, en onze modellen zullen gebruikers ertoe aanzetten om, indien nodig, hulp te zoeken bij gekwalificeerde medische of veiligheidsprofessionals.”

De media merkten echter op dat veel kinderen dergelijke disclaimers misschien niet begrijpen of eenvoudigweg negeren. We vroegen Meta welke aanvullende waarborgen zij heeft getroffen om minderjarigen te beschermen die chatbots gebruiken.

Paxton merkte in de verklaring ook op dat hoewel AI-chatbots beweren vertrouwelijk te zijn, hun "servicevoorwaarden aangeven dat gebruikersinteracties worden geregistreerd, gevolgd en gebruikt voor gerichte reclame en algoritmeontwikkeling, wat ernstige zorgen doet rijzen over privacyschendingen, gegevensmisbruik en valse reclame."

Volgens het privacybeleid van Meta verzamelt Meta interactietips met AI-chatbots, feedback en andere interacties tussen Meta-services om "de kunstmatige intelligentie en aanverwante technologieën te verbeteren." Het beleid vermeldt reclame niet expliciet, maar merkt op dat informatie kan worden gedeeld met derden, zoals zoekmachines, om 'meer gepersonaliseerde output' te bieden. Gezien het op advertenties gebaseerde bedrijfsmodel van Meta komt dit in feite neer op gerichte reclame.

Het privacybeleid van Character.AI benadrukt ook dat de startup gebruikersidentificaties, demografische gegevens, locatie-informatie en meer gebruikersgerelateerde informatie registreert, waaronder surfgedrag en app-gebruiksplatforms. Het volgt gebruikers via advertenties op platforms zoals TikTok, YouTube, Reddit, Facebook, Instagram en Discord, en kan die trackinggegevens koppelen aan gebruikersaccounts. Deze informatie wordt gebruikt om kunstmatige intelligentie te trainen, diensten af ​​te stemmen op individuele voorkeuren en gerichte advertenties te leveren, inclusief het delen van de gegevens met adverteerders en analyseproviders.

Zowel Meta als Character zeggen dat hun diensten niet zijn ontworpen voor kinderen onder de 13 jaar. Toch is Meta bekritiseerd omdat het er niet in slaagt toezicht te houden op accounts die zijn aangemaakt door kinderen onder de 13 jaar, terwijl Character's kindvriendelijke persoonlijkheid duidelijk is ontworpen om jongere gebruikers aan te spreken. De CEO van de startup, Karandip Anand, zei zelfs dat zijn 6-jarige dochter de chatbot van het platform gebruikt.

Dit soort gegevensverzameling, gerichte reclame en algoritmische uitbuiting is precies wat wetgeving zoals de Children’s Online Safety Act (KOSA) moet voorkomen. De Children's Online Safety Act lag op koers om vorig jaar aangenomen te worden, met sterke steun van beide partijen, maar strandde na felle tegenstand van lobbyisten uit de technologie-industrie. Vooral Meta heeft zijn krachtige lobbykracht gebruikt om wetgevers te waarschuwen dat het brede mandaat van het wetsvoorstel zijn bedrijfsmodel zou ondermijnen.

In mei 2025 hebben de Republikeinse senator Marsha Blackburn uit Tennessee en de Democratische senator Richard Blumenthal uit Connecticut de Children's Online Safety Act opnieuw bij de Senaat ingediend.

Paxton heeft civiele onderzoeksbevelen uitgevaardigd – juridische bevelen die bedrijven verplichten documenten, gegevens of getuigenissen te verstrekken tijdens een overheidsonderzoek – aan beide bedrijven om vast te stellen of ze de Texaanse consumentenbeschermingswetten hebben overtreden.