Des chercheurs ont dévoilé ce que les utilisateurs saisissaient lorsqu'ils utilisaient la technologie de suivi oculaire utilisée dans Apple Vision Pro. Un groupe de chercheurs a réussi à déchiffrer ce que les gens saisissaient sur le clavier virtuel de l'appareil tout en utilisant des avatars virtuels.
Deux fonctionnalités d'Apple Vision Pro ont révélé ce que les utilisateurs ont tapé
Apple a lancé le Vision Pro en début d’année. Il s’agit d’un « ordinateur spatial » révolutionnaire qui permet aux utilisateurs d’effectuer presque toutes les tâches sans aucun contrôleur externe portatif.
L'une des fonctionnalités d'Apple Vision Pro est le « suivi oculaire ». Comme son nom l'indique, il suit les mouvements des yeux pour évaluer les intentions et les actions des utilisateurs. Entre autres fonctionnalités, la fonction de suivi oculaire permet aux utilisateurs de taper sur un clavier virtuel.
Les utilisateurs d'Apple Vision Pro utilisent des avatars lorsqu'ils participent à des appels Zoom, Teams, Slack, Reddit, Tinder, Twitter, Skype et FaceTime. Un groupe de chercheurs aurait réussi à recueillir des informations sur ce que les utilisateurs tapaient à l'aide du clavier virtuel d'Apple Vision Pro en utilisant ces deux fonctionnalités pour exposer des informations sensibles.
Partagé avec CâbléGAZEploit exploite les données de suivi oculaire pour deviner les mots de passe, les codes PIN et autres textes saisis par les utilisateurs, avec un degré de précision inquiétant. Plus précisément, l'exploit observe ce que font ces avatars virtuels et où ils regardent. Il utilise ces données pour deviner des données sensibles.
Le suivi oculaire d'Apple Vision Pro n'expose pas la saisie de texte ?
Il est important de noter que le matériel et le logiciel de l'Apple Vision Pro ne sont pas compromis. En d'autres termes, les chercheurs n'ont pas eu accès au casque d'Apple. Ils n'ont donc pas pu voir ce que les utilisateurs regardaient.
Selon Hanqiu Wang, l'un des principaux chercheurs impliqués dans le travail, GAZEPloit essaie de deviner les caractères que les avatars des utilisateurs tapent sur le casque VR.
« En fonction de la direction du mouvement des yeux, le pirate peut déterminer sur quelle touche la victime est en train de taper. [GAZEPloit] « Les chercheurs ont identifié les lettres correctes que les gens tapaient dans les mots de passe 77 % du temps en cinq tentatives et 92 % du temps dans les messages. »
Les chercheurs ont confirmé avoir alerté Apple de cette vulnérabilité en avril. Le fabricant de l'iPhone a identifié la vulnérabilité comme CVE-2024-40865 et a publié un correctif fin juillet. En substance, Apple Vision Pro arrête désormais le partage d'un avatar si un utilisateur tape sur le clavier virtuel.
Les chercheurs ont formé un réseau neuronal récurrent (apprentissage automatique) à partir d'enregistrements d'avatars de seulement 30 personnes. Les utilisateurs n'ont pas à s'inquiéter de GAZEPloit car il implique des chercheurs en sécurité. Cependant, cet exploit révèle à quel point les mouvements oculaires sont prévisibles, en particulier lorsque les utilisateurs se concentrent sur la saisie d'informations sensibles.
