Meta Corporation introduceert een nieuw beveiligingssysteem voor zijn kunstmatige intelligentie-assistent Meta AI. Wanneer tieners met Meta AI chatten, kan het systeem waarschuwingen naar hun ouders sturen als uit het gesprek blijkt dat ze mogelijk suïcidaal of zelfbeschadigend zijn. Eerder heeft Meta AI tieners doorverwezen naar crisishulplijnen wanneer ze met dergelijke onderwerpen te maken kregen en hen aangemoedigd om te communiceren met ouders, hulpverleners of andere vertrouwde volwassenen. Nu zullen sommige van deze gesprekken direct meldingen naar de toezichthoudende ouder activeren.

Volgens Meta is het nieuwe mechanisme ontwikkeld in samenwerking met ouders en deskundigen op het gebied van de geestelijke gezondheidszorg om te bepalen welke gesprekken waarschuwingen moeten activeren. Het systeem is in staat situaties te identificeren waarin tieners expliciet vermelden dat ze zichzelf schade toebrengen in een gesprek, zelfs als de bewoordingen heel subtiel zijn, en een gespecialiseerd kunstmatige-intelligentiesysteem zoekt naar deze alarmsignalen. Meta benadrukte echter dat elk gesprek dat door het systeem wordt gemarkeerd, handmatig zal worden beoordeeld voordat er officieel een waarschuwing naar de ouders wordt gestuurd. Wanneer de situatie onduidelijk wordt, zegt Meta voorzichtiger te zullen optreden en ouders op de hoogte te stellen. Dit betekent dat sommige ouders een waarschuwing kunnen krijgen, ook al is er geen direct gevaar. De technologiegigant gelooft dat dit de juiste aanpak is terwijl hij het systeem blijft verbeteren. Deze nieuwe functie bouwt ook voort op het bestaande systeem van Instagram, waarmee ouders al gewaarschuwd kunnen worden wanneer tieners binnen korte tijd vaak zoeken naar woorden die verband houden met zelfmoord of zelfbeschadiging.

Naast het versturen van alerts naar ouders werkt Meta ook aan een ander systeem. Als uit een gesprek met Meta AI blijkt dat iemand een dreigend zelfmoordrisico loopt, kan het systeem automatisch contact opnemen met de hulpdiensten. Daarnaast is een ander aandachtsgebied voor Meta het optimaliseren van de manier waarop AI reageert voordat gebruikers doorverwezen worden naar ondersteunende bronnen. Meta zei dat chatbots gesprekken niet abrupt mogen beëindigen, maar begrip en herkenning moeten tonen voor de emoties van tieners en hen moeten aanmoedigen om hulp te zoeken. Momenteel blijft het bedrijf overleggen met zijn AI Wellbeing Expert Committee, Suicide and Self-Harm Advisory Group en een aantal jeugdadviseurs.

Ondertussen breidt Meta ook zijn restrictievere ‘beperkte inhoud’-instellingen uit naar de gesprekken van Meta AI. Jeugdaccounts schakelen standaard inhoudsinstellingen in voor personen ouder dan 13 jaar. In deze setting vermijdt Meta AI automatisch bepaalde soorten interacties, zoals het weigeren van seksuele of emotionele gesprekken met tieners en het weigeren van verzoeken zoals recepten voor alcoholische dranken. Als een ouder strengere instellingen voor ‘beperkte inhoud’ inschakelt voor het Instagram-account van een tiener, worden deze aanvullende beperkingen ook toegepast op Meta AI.

Naar verluidt zijn deze waarschuwingsfuncties momenteel beschikbaar voor ouders die de tools voor ouderlijk toezicht van Instagram gebruiken in de Verenigde Staten, het Verenigd Koninkrijk, Australië en Canada, en zullen ze naar verwachting eind 2026 volledig worden uitgerold naar ouders onder toezicht wereldwijd.