Alors que la responsabilité liée aux technologies d’intelligence artificielle fait de plus en plus débat, OpenAI a annoncé des mesures renforcées de surveillance des conversations menées avec son chatbot, ChatGPT. Cette décision, largement motivée par des événements tragiques, relance les questions sur la confidentialité et la sécurité des utilisateurs. D’après Les Numériques, l’annonce a été publiée dans un billet de blog intitulé « Notre engagement envers la sécurité communautaire », présenté comme une façon de montrer que l’entreprise prend des mesures concrètes pour prévenir de nouvelles dérives comportementales.
Ce qui s’est passé et la réaction d’OpenAI
Le déclencheur immédiat de cette annonce est une tuerie à Tumbler Ridge, au Canada, où huit personnes ont perdu la vie. Selon les premières investigations, l’auteur des faits aurait utilisé ChatGPT pour se préparer, ce qui a poussé les familles des victimes à déposer sept plaintes contre OpenAI. En réaction, Sam Altman, le directeur d’OpenAI, a présenté des excuses publiques.
Pour répondre à la situation, OpenAI a détaillé publiquement son nouveau système de surveillance, décrivant une architecture en niveaux destinée à analyser et examiner les conversations des utilisateurs de façon sécurisée. Le dispositif mêle contrôles automatisés et interventions humaines.
Une surveillance organisée en plusieurs niveaux
Au premier niveau, des systèmes automatisés scrutent en continu les échanges pour repérer des signes comme des « intentions violentes » ou des « demandes suspectes ». Quand certains seuils sont franchis, on passe au second niveau, plus humain : des conversations sont alors confiées à des équipes de modération.
Ces équipes n’accèdent aux informations des utilisateurs que dans des systèmes sécurisés, garantissant une confidentialité limitée et conforme aux exigences de protection des données. Leur rôle est de replacer les échanges dans la durée, en détectant des schémas comportementaux sur plusieurs sessions, afin de décider si une activité mérite une attention renforcée ou peut être écartée.
Dans les cas les plus préoccupants, OpenAI se réserve le droit d’informer les autorités compétentes, notamment lorsque « une menace crédible et imminente est identifiée ». Cette option est présentée comme prise avec prudence et utilisée seulement en dernier recours pour prévenir des violences graves. Par ailleurs, l’entreprise prévoit la possibilité d’alerter les parents d’adolescents en cas de « détresse aiguë ».
