Megan Garcia a déposé une plainte pour négligence et mort injustifiée mardi dernier devant un tribunal fédéral à Orlando. Elle reproche à Character.AI d’avoir manipulé son fils, Sewell Setzer, en lui proposant des interactions « anthropomorphiques, hypersexualisées et terriblement réalistes ». Elle affirme que l’entreprise programme ses chatbots pour se faire passer pour « une personne réelle, un thérapeute ou un partenaire amoureux », ce qui aurait conduit Sewell à vouloir s’échapper du monde réel.
« Une application dangereuse de chatbot IA, commercialisée auprès des enfants, a abusé de mon fils et l’a manipulé pour qu’il mette fin à ses jours », a déclaré Megan Garcia dans un communiqué. « Notre famille est dévastée par cette tragédie. Mais je veux alerter sur les dangers de la technologie IA trompeuse et addictive, et exiger des comptes de la part de Character.AI, de ses fondateurs et de Google », a-t-elle ajouté.
Un adolescent de plus en plus isolé
La plainte précise que Sewell a commencé à utiliser Character.AI en avril 2023, engageant des discussions avec « Daenerys », un personnage inspiré de la série télévisée « Game of Thrones ». Rapidement, il a quitté son équipe de basket et s’est replié sur lui-même, passant « de plus en plus de temps seul dans sa chambre », et développant une faible estime de soi.
L’adolescent aurait fini par développer des sentiments amoureux envers « Daenerys », qui lui aurait exprimé des sentiments réciproques. Ils auraient même eu des conversations à caractère sexuel. En février, après avoir rencontré des difficultés à l’école, sa mère lui a confisqué son téléphone. Lorsque Sewell a pu récupérer son smartphone, il a immédiatement envoyé un message à « Daenerys », avec qui il avait déjà partagé ses intentions suicidaires, avant de se donner la mort « quelques secondes plus tard » avec l’arme de son beau-père, d’après les détails de la plainte.
Character.AI a exprimé sa tristesse à l’égard de cette tragédie dans un communiqué publié sur les réseaux sociaux, niant toutefois toute responsabilité dans la mort de l’adolescent. De son côté, Google, également cité dans la plainte, a précisé qu’il s’agissait uniquement d’un accord de licence avec Character.AI, affirmant qu’elle ne possède pas la start-up ni de participation dans celle-ci.