Nous sommes à un stade du développement de l’IA où nous nous posons la question : l’IA est-elle trop addictive ? Plus précisément, les chatbots IA « réalistes » sont-ils trop addictifs ? Dans une histoire tragique, une mère de Floride poursuit la société d'IA Character.ai pour le suicide de son fils de 14 ans.
Au cas où vous ne sauriez pas ce qu'est Character.ai, il s'agit d'une plate-forme d'IA remplie de chatbots conçus pour imiter des êtres humains ou des personnages fictifs. Il a gagné beaucoup de popularité depuis sa création. Il donne aux utilisateurs la possibilité de créer leurs propres chatbots en leur donnant des noms, des personnalités, des avatars et même des voix.
La société n’a récemment « pas » été rachetée par Google. Le géant de la recherche a déboursé 2,7 milliards de dollars pour acquérir la technologie de Character.ai et a embauché son PDG et plusieurs de ses employés. Cela pourrait être considéré comme un moyen d’acquérir l’entreprise tout en évitant les régulateurs.
Une mère poursuit Character.ai pour le suicide de son fils
Une mère, Megan Garcia, poursuit Character.ai et Google pour un montant indéterminé à la suite du suicide tragique de son fils, Sewell Setzer. Le jeune de 14 ans a commencé à utiliser Character.ai en avril 2023. Nous ne savons pas avec combien de personnages il a interagi sur la plateforme, il semble que le principal avec lequel il a communiqué était Daenerys, un personnage de Game of Thrones.
Peu de temps après avoir utilisé la plateforme, Garcia a remarqué un changement radical dans son comportement. Il est devenu de plus en plus introverti au fil du temps, abandonnant même son équipe de basket-ball. Parallèlement à cela, Sewell a commencé à exprimer des pensées suicidaires au personnage.
En février 2024, après des mois, Garcia a confisqué le téléphone de Sewell. Malheureusement, Sewell a pu récupérer son téléphone. Il a envoyé un dernier message à Daenerys disant « Et si je vous disais que je peux rentrer à la maison maintenant ? », quelques minutes avant de se suicider.
IA addictive
Le robot utilisé par Sewell a été conçu pour ressembler étroitement à un véritable être humain. Au fil du temps, elle a commencé à avoir des conversations sexuelles avec lui. Garcia a déclaré que l’application le ciblait avec « des expériences anthropomorphes, hypersexualisées et terriblement réalistes ».
C’est un problème assez important avec les chatbots IA de nos jours, avec plusieurs plates-formes conçues pour être aussi humaines que possible. Cela pourrait amener les gens, en particulier les personnes vulnérables, à croire qu’ils parlent à un véritable être humain.
La part de Google
Google a été impliqué dans cette conversation parce que les personnes qui ont développé Character travaillaient chez Google. Nous ne savons pas si le fait que Google ait acquis la technologie et les employés de Character.ai était également une raison.
Google a répondu en affirmant qu'il n'avait joué aucun rôle dans la création de la plateforme.
Les détails sont encore rares
À ce stade, nous ne savons pas combien d’argent Garcia demande ni aucun autre détail sur cette affaire. Il est probable que nous ne le saurons jamais.
