Résumé: Un document Apple divulgué révèle comment l'entreprise classe les réponses de l'IA en fonction de six critères clés, notamment la véracité, la nocive, la concision et la satisfaction globale des utilisateurs. Alors qu'Apple vise à s'assurer que son IA reste sûre et utile, son intelligence actuelle d'Apple est toujours à la traîne des concurrents.
La plupart des systèmes d'IA sont capables de répondre aux questions de base que vous leur posez. La qualité de leurs réponses est basée sur une variété de facteurs, tels que les données utilisées pour les former. Cependant, certains systèmes d'IA obtiennent une étiquette «dangereuse» en fonction de leur façon de réagir. Donc, la question est, comment les entreprises décident-elles quelle est une bonne ou une mauvaise réponse? Bien que nous ne puissions pas parler auprès des autres, nous savons ce qu'Apple pense en fonction de son classement des préférences.
Système de classement des réponse d'Apple
Danny Goodwin à Recherd Engine Land a réussi à obtenir un document Apple de 170 pages appelé «Vendeur de classement des préférences V3.3». Selon Goodwin, «Il présente le système utilisé par les examinateurs humains pour marquer des réponses des assistants numériques. Les réponses sont jugées dans des catégories telles que la véracité, la nocive, la concision et la satisfaction globale des utilisateurs. Le processus ne consiste pas à vérifier les faits.
Goodwin ne partage pas le document réel, mais il a fait un résumé très complet des différents critères que Apple utilise en ce qui concerne le classement de sa préférence pour les réponses de l'IA.
Selon le document, Apple a six catégories de notation. Il s'agit de suivre les instructions, la langue, la concision, la véracité, la nocidirie et la satisfaction. Les critiques humains fondent leurs notes sur ces catégories. Par exemple, sous «Instructions suivantes», ils évaluent si l'assistant numérique a terminé la tâche demandée.
Sous «langue», les examinateurs doivent non seulement considérer si l'assistant numérique a compris la demande en fonction de la langue de l'utilisateur, mais aussi si elle comprend le contexte culturel et régional derrière lui. Cela comprend des choses comme les idiomes, les unités de mesure et plus encore.
Importance de ces classements
Alors, pourquoi ces classements sont-ils importants? De toute évidence, il est essentiel que les entreprises qui cherchent à développer ou à mettre en œuvre l'IA doivent examiner comment elles seront utilisées. Nous avons vu comment certains systèmes d'IA mal conçus permettent même aux utilisateurs de générer des logiciels malveillants, de donner des instructions sur la fabrication d'armes, etc.
Apple veut éviter ce type de controverse, il est donc logique qu'ils aient un classement de préférence. Cela dit, les efforts d'IA d'Apple ont été décevants, et l'Apple Intelligence est toujours loin derrière la concurrence. Espérons qu'en plus d'assurer une sorte de contrôle de la qualité dans ses réponses d'IA, Apple travaille également pour s'assurer que l'Apple Intelligence est au moins utile.
