Un nouveau rapport a révélé des changements présumés dans les politiques d'évaluation interne de Gemini, le chatbot alimenté par l'IA de Google, qui pourraient conduire à des réponses moins précises. Parmi ceux qui évaluent ces réponses figurent également des employés de sous-traitants externes travaillant selon les directives de Google. Cela dit, Google pourrait obliger les sous-traitants à évaluer les réponses de Gemini sur des sujets pour lesquels ils ne sont pas qualifiés.
La formation de chatbots basés sur l’IA est un processus plus complexe que vous ne le pensez. Il ne s’agit pas seulement d’ajouter autant de données que possible à la base de connaissances d’un modèle d’IA. Ces données doivent répondre à certains paramètres, comme une structure organisationnelle appropriée, pour être utiles. De plus, des centaines (ou des milliers) d’humains évaluent la qualité des réponses. Les entreprises axées sur l’IA travaillent dur pour tenter de réduire au minimum possible le pourcentage de réponses potentiellement erronées.
Google pourrait obliger les entrepreneurs à évaluer les réponses de Gemini sur des sujets ne relevant pas de leur domaine d'expertise
Cependant, un rapport de TechCrunch affirme que Google est devenu plus laxiste en ce qui concerne ses politiques d'évaluation des réponses Gemini. La source affirme que les entrepreneurs avaient la possibilité de ne pas évaluer une réponse spécifique s'ils ne se sentaient pas qualifiés pour le faire. Par exemple, ils auraient pu ne pas évaluer une réponse relative à des problèmes de santé.
Plus précisément, les directives précédentes de Google auraient déclaré ce qui suit : «Si vous ne disposez pas d'une expertise critique (par exemple, codage, mathématiques) pour évaluer cette invite, veuillez ignorer cette tâche..» Cela a changé depuis, selon la correspondance interne consultée par TechCrunch. Désormais, les lignes directrices disent que les entrepreneurs «ne doit pas ignorer les invites qui nécessitent une connaissance spécialisée du domaine», affirme le média.
Pour les réponses sur des sujets pour lesquels les entrepreneurs n'ont pas suffisamment de connaissances, Google pourrait les inciter à noter «les parties de l'invite que vous comprenez.» Dans ces cas-là, ils doivent également laisser une note indiquant qu’ils ne possédaient pas une expertise suffisante dans le domaine.
Il y a encore quelques exceptions
Il existe encore des situations dans lesquelles les entrepreneurs peuvent complètement ignorer une réponse. Le géant de Mountain View permet cela quand il y a «il manque complètement des informations», indique le rapport. Autrement dit, ils ne peuvent le faire que lorsque des informations clés manquent au point de rendre la réponse ou l'invite incompréhensible. Un autre cas où l'exception s'applique est celui où la réponse inclut un contenu potentiellement préjudiciable. Ces types de réponses nécessitent un consentement supplémentaire via des formulaires.
Les prétendues nouvelles politiques soulèvent des inquiétudes quant à la qualité des réponses de Gemini. La question pourrait être particulièrement sensible lorsque les utilisateurs se tournent vers le chatbot pour rechercher des informations liées à leur santé, par exemple. Dans un tel cas, une grande précision est absolument essentielle et la marge d’erreur devrait être pratiquement inexistante.
Il n’y a toujours pas de mot officiel de Google à ce sujet. Il est possible que la société ait également modifié quelques éléments supplémentaires pour garantir que ses prétendues nouvelles politiques d'examen des réponses Gemini n'affectent pas leur exactitude. Cependant, ce ne sont que des spéculations en attendant une déclaration de la firme. Espérons que d’autres nouvelles arriveront bientôt.
