L'intelligence artificielle s'est avérée utile pour une multitude de tâches. L'une des fonctionnalités les plus présentées par les sociétés axées sur l'IA est la capacité de résumer le contenu. Cela semble idéal pour des articles très longs ou complexes où le chatbot pourrait offrir une version plus «digestible». Cependant, certains des principaux chatbots d'IA se sont révélés inexacts lors de la génération de résumés d'actualités dans les tests.
La BBC a testé quatre des principaux chatbots d'IA, en se concentrant sur leur capacité à résumer les nouvelles. Les chatbots en question sont le chatppt d'Openai, le copilote de Microsoft, les Gémeaux de Google et la perplexité d'Anthropic. Pendant les tests, la BBC a permis aux chatbots d'IA d'accéder à ses flux d'actualités. Le point de vente ne permet généralement pas que cela utilise un fichier «robots.txt» pour indiquer aux plateformes AI qu'ils ne peuvent pas saisir le contenu de son site Web. Cependant, ils ont temporairement désactivé la restriction des tests.
Les chatbots AI ont une forte probabilité de générer des résumés de nouvelles inexacts, les tests de la BBC montrent
L'expérience consistait à faire en sorte que les chatbots d'IA génèrent des résumés pour 100 articles de presse de la BBC. Le point de vente a également fait appel à des experts dans les sujets d'actualités pertinents pour évaluer les résultats. Les résultats ont montré que 51% des résumés générés avaient des problèmes notables d'une certaine sorte. La partie la plus inquiétante était qu'il y avait un taux d'hallucination de 19%. Plus précisément, les résumés de 19% des articles comprenaient des actions incorrectes – ou inexistantes – de faits, de chiffres ou de dates.
Le rapport mentionne également que les chatbots «a eu du mal à différencier l'opinion et les faits, éditorialisé et souvent échoué à inclure le contexte essentiel. «
Deborah Turness, PDG de BBC News, a connu quelques mots concernant les résultats des tests. Elle considère l'IA comme une source de «Opportunités infinies. » Cependant, Turness considère que les entreprises d'IA sont «Jouer avec le feu. » « Nous vivons dans des temps troublés, et combien de temps durera-t-il avant qu'un titre dispensé par l'IA ne provoque un préjudice réel important?«
Les plates-formes d'IA ne sont pas intrinsèquement mauvaises pour générer des résumés
Turness dit qu'elle est ouverte à «travailler ensemble en partenariat pour trouver des solutions. » OpenAI a été le seul des quatre sociétés d'IA à proposer une déclaration concernant les résultats. « Nous avons collaboré avec des partenaires pour améliorer la précision de la citation en ligne et respecter les préférences des éditeurs, y compris la façon dont ils apparaissent dans la recherche en gérant Oai-Searchbot dans leur robots.txt. Nous continuerons à améliorer les résultats de recherche», A déclaré un porte-parole.
Cela ne signifie pas que les plates-formes d'IA sont intrinsèquement mauvaises pour générer des résumés. Ils ont tendance à faire un très bon travail en ce qui concerne les petits morceaux d'informations provenant de différentes sources. Les outils alimentés par AI qui résument les e-mails fonctionnent également bien. Cependant, il semble que les choses deviennent plus compliquées lorsqu'ils doivent faire face à un contenu plus long et plus complexe.
