Regarder une IA moderne fonctionner peut donner l’impression d’assister à un tour de magie. Qu’il s’agisse de Gemini, ChatGPT ou Claude, ces modèles projettent souvent une aura de sagesse presque infinie, résolvant des problèmes de codage complexes ou écrivant de la poésie en quelques secondes. Cependant, de nouvelles recherches menées par des scientifiques de Stanford, Caltech et Carleton College suggèrent que sous la surface brillante du modèle d’IA se cachent des fissures étonnamment profondes qui les conduisent à échouer même dans la logique de base.
L’étude révèle que même les grands modèles de langage (LLM) les plus avancés échouent fréquemment aux tests de raisonnement de base qu’un jeune enfant pourrait parcourir (via Popular Mechanics). Nous traitons souvent ces systèmes comme s’ils « réfléchissaient ». Cependant, la réalité est qu’ils reposent sur des mathématiques complexes et des modèles liés les uns aux autres. Cette approche leur permet de deviner le mot suivant dans une phrase avec une précision étonnante, mais cela ne signifie pas qu’ils « comprennent » vraiment la logique derrière ce qu’ils disent.
L’IA manque de « théorie de l’esprit » du cerveau humain, ce qui entraîne des échecs en mathématiques logiques
L’une des parties les plus intéressantes de la recherche concerne l’intelligence sociale. Les humains apprennent les règles sociales et les nuances morales au fil d’années d’expériences subtiles du monde réel. L’IA, en revanche, n’a pas ce que les scientifiques appellent une « théorie de l’esprit ». Cela signifie que ces modèles ont du mal à déduire ce qu’une personne pourrait penser ou à prédire un comportement sur la base de règles éthiques. Les chercheurs affirment que l’IA n’est pas prête à prendre des décisions clés qui nécessitent un jugement humain en raison du manque de boussole morale fiable.
L’échec s’étend également au monde des mathématiques et de la logique formelle. On pourrait s’attendre à ce qu’un ordinateur soit parfait en mathématiques, n’est-ce pas ? Eh bien, l’étude montre que les LLM ont du mal avec la logique « triviale », comme comprendre que si A est égal à B, alors B doit être égal à A. Ils souffrent également de préjugés, comme accorder beaucoup trop d’importance au premier élément d’une liste. Cela reflète les erreurs humaines, mais sans notre capacité naturelle à réaliser quand quelque chose ne va pas.
Même le raisonnement physique présente un défi. Lorsqu’on leur demande de planifier des tâches dans un espace tridimensionnel ou de gérer des mouvements robotiques, les modèles perdent souvent la trace du plan si l’invite est formulée légèrement différemment. Cela démontre que l’IA s’appuie sur des modèles de données à court terme plutôt que sur une compréhension solide et à long terme du fonctionnement du monde physique.
Une réflexion nécessaire pour vraiment comprendre l’IA
Malgré ces résultats, les scientifiques ne suggèrent pas que l’IA soit un échec. Ils considèrent plutôt ces vulnérabilités comme une feuille de route nécessaire pour l’avenir. Identifier les ruptures technologiques est la première étape vers la construction de systèmes plus résilients. Tout comme les premiers calculs nécessitaient une analyse rigoureuse des pannes pour devenir fiable, l’IA d’aujourd’hui doit faire l’objet du même examen minutieux pour dépasser le rôle d’une « saisie semi-automatique épicée » et devenir un partenaire véritablement intelligent. Après tout, les systèmes d’IA d’il y a quelques années n’ont rien à voir avec ceux d’aujourd’hui.
Il ne s’agit pas d’être sceptique et de crier tout le temps « l’IA est mauvaise », mais de reconnaître les limites actuelles de la technologie. Savoir exactement ce que nos outils peuvent et ne peuvent pas faire est fondamental pour les utiliser correctement. Fondamentalement, c’est la même approche que nous adoptons avec nos outils du monde réel. Alors pourquoi ne pas reproduire ce comportement avec nos « partenaires numériques » ?
