Depuis la création des IA génératives comme ChatGPT, les experts et les gouvernements ont eu leurs inquiétudes concernant le développement non réglementé dans le domaine. Maintenant, dans un effort pour répondre à ces préoccupations, OpenAI forme une équipe dédiée visant à gérer les risques potentiels associés aux IA superintelligentes.
L’équipe, dirigée par Ilya Sutskever, cofondateur d’OpenAI, et Jan Leike, membre éminent de l’équipe d’alignement d’OpenAI, développeront des méthodes pour gérer le scénario hypothétique dans lequel les systèmes d’IA superintelligents surpasseront l’intelligence humaine et commenceront à fonctionner de manière autonome. Bien que ce scénario puisse sembler tiré par les cheveux, les experts affirment que les IA super intelligentes pourraient devenir une réalité au cours de la prochaine décennie, soulignant l’importance de développer des garanties aujourd’hui.
« Actuellement, nous n’avons pas de solution pour diriger ou contrôler une IA potentiellement super intelligente et l’empêcher de devenir voyou », lit-on sur le blog annonçant la décision.
L’équipe Superalignement
L’équipe de superalignement, créée par OpenAI, aura accès à environ 20 % des ressources de calcul actuelles, ainsi qu’aux scientifiques et ingénieurs de l’ancienne division d’alignement d’OpenAI pour développer un « chercheur d’alignement automatisé au niveau humain », qui aiderait principalement à évaluer d’autres Systèmes d’IA et mener des recherches d’alignement.
« Au fur et à mesure que nous progressons dans ce domaine, nos systèmes d’IA peuvent prendre en charge de plus en plus notre travail d’alignement et, en fin de compte, concevoir, mettre en œuvre, étudier et développer de meilleures techniques d’alignement que celles que nous avons actuellement », lit un autre article de blog.
Un système d’IA pour vérifier les autres IA
Bien que la proposition de développer un système d’IA pour vérifier d’autres IA puisse sembler inhabituelle, OpenAI soutient que les systèmes d’IA peuvent progresser plus rapidement dans la recherche d’alignement par rapport aux humains. Cette approche ferait non seulement gagner du temps aux chercheurs humains, mais leur permettrait également de se concentrer sur l’examen de la recherche d’alignement menée par l’IA plutôt que de la générer uniquement eux-mêmes.
Cependant, il est important de noter qu’OpenAI reconnaît les risques et dangers potentiels associés à cette approche. De plus, la société prévoit de publier une feuille de route décrivant l’orientation de ses recherches à l’avenir.
