Lorsque les smartphones ont fait leur apparition, la croissance et les améliorations à chaque nouvelle génération ont été énormes. Ces jours-ci, les améliorations ont ralenti à un rythme effréné. L’IA est confrontée à un problème similaire appelé « données de pointe », mais les chercheurs de Google DeepMind semblent avoir trouvé un moyen de le contourner.
Qu’est-ce que les « données de pointe » ?
Le concept de « données de pointe » est similaire à la façon dont la technologie progresse. Au début, lorsque les choses sont nouvelles et largement méconnues, les gains à chaque nouvelle génération sont énormes. Mais à mesure que les choses commencent à mûrir, ces gains diminuent.
Les données de pointe sont essentiellement les mêmes. Toutes les soi-disant « données utiles » sur Internet ont déjà entraîné des modèles d’IA. Le cofondateur d'OpenAI, Ilya Sutskever, a déclaré lors d'une récente conférence : « Nous avons atteint un pic de données, et il n'y en aura plus ». Il a également suggéré que cette ère d'améliorations « prendrait incontestablement fin ».
Compte tenu des milliards de dollars que de nombreuses entreprises ont investis dans cette technologie, cela semble plutôt effrayant. Mais il semble que les chercheurs de Google DeepMind aient trouvé un moyen de résoudre le problème.
La solution de Google
Les chercheurs pensent qu’ils peuvent surmonter ce problème en changeant la façon dont les modèles d’IA « pensent ». Cela implique une approche connue sous le nom de calcul du temps d'inférence. C'est là qu'une requête est divisée en tâches plus petites, chaque tâche agissant comme sa propre invite. Cela signifie qu'au lieu d'aborder la requête initiale dans son ensemble, le modèle d'IA décomposera la requête en tâches plus petites, traitera ces tâches une par une et ne passera à la tâche suivante qu'une fois que chaque partie sera correcte.
Vous pourriez considérer cela comme suivre une recette de cuisine. La création d'un plat comporte de nombreuses étapes. Mais plutôt que de tout faire en même temps, vous divisez le processus en tâches individuelles. Vous épluchez d’abord l’ail, puis vous l’émincez. Ensuite, passez aux oignons, puis aux carottes, et ainsi de suite.
Les chercheurs de Google DeepMind ont publié un document de recherche sur leur approche en août et ont découvert qu'elle avait le potentiel de surmonter le problème des pics de données de l'IA. Mais est-ce la solution parfaite ? Pas exactement.
Selon Charlie Snell, l'un des chercheurs qui ont contribué à la recherche, le calcul du temps d'inférence fonctionne avec des questions qui ont une réponse claire, comme un défi mathématique. Pour les autres requêtes nécessitant un raisonnement, ce ne sera pas aussi simple. Le bon côté des choses, c’est qu’il y a des premiers signes de succès, alors il y a peut-être un peu d’espoir.
