Il y a une raison pour laquelle vos amis, vos enseignants et les personnes dont vous vous entourez dans la vie sont importantes. C'est parce que qui vous passez du temps peut influencer qui vous êtes. Mais il s'avère que cette même logique s'applique également à l'IA. Selon une étude récente d'OpenAI, les modèles d'IA peuvent développer leurs propres personnages.
Modèles d'IA avec leurs propres personnages
L'étude a examiné les représentations internes d'un modèle d'IA, qui déterminent comment elle réagit aux demandes. Cependant, au cours de l'enquête, les chercheurs d'OpenAI ont découvert des modèles qui se sont allumés, comme les voies neuronales de notre cerveau, lorsqu'un modèle s'est mal comporté. À leur tour, les chercheurs OpenAI ont découvert que les modèles d'IA peuvent développer ses propres personnages, comme être sarcastique, par exemple.
Il s'avère que cela découle de la formation de «mauvaises» données. Les recherches d'OpenAI sont basées sur une étude antérieure de février. Les chercheurs ont constaté que la formation d'un modèle d'IA utilisant du code qui contient des vulnérabilités de sécurité peut entraîner une réponse du modèle avec un contenu nuisible ou haineux. Cela se produit même lorsque l'utilisateur l'invite avec quelque chose de bénin.
Cependant, la bonne nouvelle est que les chercheurs d'Openai ont découvert qu'ils pouvaient réellement ramener le modèle à son état régulier. Ceci est réalisé en affinant les représentations internes de l'IA en fonction de «bonnes» ou «vraies» informations. Certes, les résultats sont alarmants. Savoir qu'il existe des modèles d'IA qui pourraient être potentiellement formés sur les mauvaises données pour générer un faux récit est effrayant. Cependant, la bonne nouvelle est que cela est réparable.
Selon Tejal Patwardhan, un scientifique Openai qui faisait partie de l'étude, « Pour moi, c'est la partie la plus excitante. Cela montre que ce désalignement émergent peut se produire, mais nous avons aussi ces nouvelles techniques pour détecter quand elle se produit par les évaux et aussi par l'interprétabilité, puis nous pouvons réellement ramener le modèle à l'alignement. »
L'importance de la réglementation
Ces résultats sont un bon exemple de la raison pour laquelle l'IA doit être mieux réglementée. Des entreprises comme Openai envisagent un avenir où le chatppt pourrait être notre assistant quotidien personnel. C'est pourquoi les règles et les réglementations doivent s'assurer que nous n'interagissons pas avec les mauvais acteurs qui nous nourrissent de désinformation.
À l'heure actuelle, l'administration Trump a proposé un moratoire sur 10 ans sur le règlement au niveau de l'État. Cela signifie que tout règlement concernant l'IA ne peut être effectué qu'au niveau fédéral. De toute évidence, les lois que les États font peuvent devenir fédérales. Mais mettre une emprise sur le règlement au niveau de l'État au nom du progrès a certainement ses risques.
