Character.AI apporte des changements majeurs pour continuer à assurer la sécurité des utilisateurs adolescents. Selon un article de blog de la société, Character.AI a ajouté plusieurs nouvelles fonctionnalités pour assurer la sécurité des adolescents sur la plate-forme et déploiera bientôt des contrôles parentaux qui donneront aux parents beaucoup plus de surveillance. La société affirme que ces mesures bloqueront les contenus inappropriés et rendront l’expérience globale plus sûre.
Une mère a récemment poursuivi Character.AI, lui reprochant le suicide de son fils de 14 ans.
Character.AI a un LLM distinct pour les utilisateurs de moins de 18 ans
Character.AI a mis à jour son LLM pour les utilisateurs adolescents. Il a créé un grand modèle de langage (LLM) distinct pour les utilisateurs de moins de 18 ans. Ce LLM identifie les réponses inappropriées, notamment sur des sujets sensibles tels que la romance ou l'automutilation, et les bloque.
La plate-forme affichera également une fenêtre contextuelle spécifique dirigeant les utilisateurs vers la National Suicide Prevention Lifeline si le LLM identifie un langage faisant allusion à l'automutilation ou au suicide. Les nouveaux changements en feront un lieu plus convivial et plus sécuritaire pour les adolescents.
Cela a également empêché les utilisateurs mineurs de modifier les réponses aux chatbots. Auparavant, les utilisateurs pouvaient modifier ce que disaient les robots, mais les adolescents ne pourront plus modifier les conversations. Cela fait partie des efforts de l'entreprise pour empêcher l'ajout de contenu inapproprié aux discussions.
Pourquoi ces nouveaux changements sont-ils nécessaires pour Character.AI ?
Ces changements sont nécessaires pour protéger les adolescents des conversations nuisibles. Cela contribuera à créer une zone de sécurité pour un groupe d’âge plus restreint. Les changements sont réalisés en collaboration avec « plusieurs adolescents experts en sécurité en ligne », dont l’organisation ConnectSafely.
La société ajoute également de nouveaux contrôles parentaux qui permettront aux parents de voir combien de temps leur enfant passe sur Character.AI et avec quels chatbots IA ils interagissent le plus. Le nouveau contrôle parental sera disponible au premier trimestre 2025.
La société apportera également une fonctionnalité de limitation de temps : elle avertira les utilisateurs après une heure de discussion avec un bot pour qu'ils fassent une pause. Cette fonctionnalité évitera la dépendance à la plateforme et garantira des habitudes d’utilisation saines.
«Nous nous engageons à favoriser un environnement sûr pour tous nos utilisateurs. Pour respecter cet engagement, nous reconnaissons que notre approche de la sécurité doit évoluer parallèlement à la technologie qui pilote notre produit – en créant une plate-forme où la créativité et l'exploration peuvent prospérer sans compromettre la sécurité. Character.AI a déclaré dans un article de blog.
