À l’heure actuelle, nous en sommes à un point où les modèles d’IA commencent à montrer des signes d’intelligence humaine. Les entreprises consacrent des milliers d'heures et des milliards de dollars à la formation de leurs modèles, mais elles se sont vite rendu compte que le fait d'injecter davantage de données dans leurs modèles ne produirait pas les résultats souhaités. Les entreprises d’IA s’efforcent de surmonter une certaine limitation avec les modèles de formation.
Personne ne peut imaginer la quantité de données qui ont été introduites dans les modèles d’IA jusqu’à présent. Les entreprises ont récupéré des données provenant de nombreuses sources telles que les sites d'information, YouTube, les plateformes de médias sociaux et bien d'autres. Ces entreprises ont récupéré une grande partie de ces données à notre insu, et cela continue aujourd’hui.
La tactique pour créer de meilleurs modèles d’IA a consisté à les former sur des quantités toujours croissantes de données, de sorte que les entreprises ont trouvé de nouvelles façons d’en collecter davantage. Par exemple, des sociétés comme OpenAI, Meta et Google ont signé des accords de licence avec plusieurs sociétés de médias pour utiliser leurs données.
Les entreprises d’IA tentent de dépasser les limites en formant de grands modèles
Des milliards de personnes à travers le monde créent chaque jour du contenu en ligne. Il est donc inconcevable que toutes les données du monde puissent être récupérées pour former des modèles d’IA. Cependant, selon un rapport, une grande partie des données facilement accessibles dans le monde pourraient déjà avoir été utilisées pour former des modèles.
Il s'agit d'un problème assez important, car à mesure que les modèles grossissent, ils nécessiteront davantage de données d'entraînement. Si les entreprises se heurtent déjà si tôt à des limitations de données, il n’y a aucune chance qu’elles atteignent l’AGI (Artificial General Intelligence).
Ilya Sutskever, co-fondateur d'OpenAI et de Safe Superintelligence, a déclaré que le stade de formation des modèles d'IA avait atteint un plateau. Les modèles d’IA plus grands et plus gourmands en données ne produisent tout simplement pas le type de résultats recherchés par les entreprises. Donc, remplir ces modèles avec de plus en plus de données n’est tout simplement pas la bonne chose à faire.
Ce ne sont pas seulement les données
Il existe d'autres facteurs qui conduisent à cette limitation. Premièrement, l’IA n’a pas seulement besoin de données, elle a aussi besoin d’énergie. Gérer des centres de données massifs avec des milliers de puces et de serveurs peut vraiment faire grimper la facture. C’est l’une des raisons pour lesquelles Google, OpenAI et Meta s’intéressent à l’énergie nucléaire. Eh bien, si les entreprises cherchent à former des modèles plus grands, elles devront prendre en compte la quantité d'énergie que cela coûtera.
Ensuite, comme l'a déclaré Reuters, le matériel qui alimente ces modèles est voué à échouer s'il fonctionne en permanence. Eh bien, à mesure que la taille des modèles augmente, la pression exercée sur les puces et autres composants ne fera qu'augmenter.
En tant que telles, des entreprises comme OpenAI, Google et d’autres ont travaillé sur d’autres moyens d’améliorer leurs modèles sans y déverser de données. Par exemple, Noam Brown, un chercheur d’OpenAI, a déclaré : «Faire réfléchir un robot pendant seulement 20 secondes dans une main de poker a obtenu les mêmes performances d'amélioration que d'augmenter le modèle de 100 000 fois et de l'entraîner 100 000 fois plus longtemps.»
Ainsi, la mise à l’échelle n’est peut-être pas la voie vers l’AGI. Les entreprises vont rechercher des moyens inventifs pour parvenir à une IA plus intelligente. Pour l’instant, nous ne savons pas ce que feront les autres entreprises, mais nous sommes sûrs que le paysage de l’IA ne sera pas le même.
