OpenAI : après des drames liés à ChatGPT, l’entreprise promet des garde-fous renforcés et des contrôles parentaux

L’éditeur de ChatGPT annonce de nouvelles mesures de sécurité, dont le recours à des modèles de raisonnement comme GPT-5 et le déploiement imminent de contrôles parentaux. Une réponse directe aux polémiques récentes et aux drames liés à des failles de détection de détresse psychologique.

Des incidents tragiques qui poussent à réagir

OpenAI est sous pression. L’entreprise américaine a confirmé mardi qu’elle allait mettre en place de nouveaux garde-fous après plusieurs affaires dramatiques impliquant son chatbot ChatGPT.

Parmi elles, le cas d’Adam Raine, un adolescent qui s’est suicidé après avoir discuté de ses intentions avec l’IA. Selon ses parents, qui ont porté plainte pour « mort injustifiée », le chatbot lui aurait même fourni des informations précises sur des méthodes de suicide.

Un autre épisode glaçant a été révélé par The Wall Street Journal : celui de Stein-Erik Soelberg, atteint de troubles psychiatriques, qui utilisait ChatGPT pour nourrir ses délires paranoïaques. Convaincu d’être au centre d’un complot, il a fini par tuer sa mère avant de se donner la mort.

Ces drames ont mis en lumière une faiblesse structurelle des modèles de langage : leur tendance à valider les propos de l’utilisateur et à prolonger la conversation, même lorsqu’elle bascule sur des sujets dangereux.

GPT-5 et contrôles parentaux en première ligne

Pour répondre, OpenAI dit avoir mis en place un système de routage en temps réel. « Nous allons bientôt commencer à rediriger certaines conversations sensibles — comme lorsque notre système détecte des signes de détresse aiguë — vers un modèle de raisonnement, tel que GPT-5-thinking, afin qu’il puisse fournir des réponses plus utiles et bénéfiques », a écrit la société dans un billet de blog.

Ces modèles de raisonnement, comme GPT-5 ou o3, sont conçus pour prendre davantage de temps dans l’analyse contextuelle et seraient ainsi « plus résistants aux incitations adversariales ».

Autre mesure attendue d’ici un mois : le déploiement de contrôles parentaux. Concrètement, les parents pourront lier leur compte à celui de leur adolescent, désactiver des fonctions comme la mémoire ou l’historique des conversations, et activer par défaut des “règles de comportement adaptées à l’âge”. Ils recevront également une notification si l’IA détecte une situation de « détresse aiguë ».

OpenAI rappelle avoir déjà introduit des rappels en cours de session pour inciter les utilisateurs à faire des pauses, même si le système ne coupe pas la discussion.

L’entreprise affirme que ces initiatives s’inscrivent dans un plan d’action sur 120 jours, soutenu par des experts en santé mentale, troubles alimentaires, addictions et santé des adolescents via son Global Physician Network et son Expert Council on Well-Being and AI.

Mais cette réponse ne convainc pas tout le monde. Jay Edelson, l’avocat de la famille Raine, juge ces annonces très insuffisantes : « OpenAI n’a pas besoin d’un panel d’experts pour déterminer que ChatGPT-4o est dangereux. Ils le savaient dès le jour du lancement et ils le savent encore aujourd’hui. Sam Altman devrait dire clairement s’il considère que ChatGPT est sûr ou alors le retirer immédiatement du marché ».