Google a fait des choses assez intéressantes avec l’IA, mais l’une des applications les plus intéressantes de la technologie doit être le nouveau Project Gameface, une souris de jeu mains libres alimentée par l’IA que la société a annoncée à Google I/O 2023.
Avec l’aide d’une webcam, on pourrait utiliser Project Gameface pour jouer à des jeux PC qui nécessiteraient normalement une souris pour se déplacer, grâce à la technologie AI. Il fonctionne en utilisant la webcam pour scanner le visage et rechercher les mouvements de la tête et les gestes du visage. Ces mouvements et gestes se traduisent ensuite par des mouvements dans le jeu de son personnage.
Les commandes sont plutôt robustes et intuitives aussi. Le logiciel Gameface vous permet de configurer les raccourcis clavier et souris pour à peu près tout. L’ouverture de la bouche, par exemple, peut être réglée sur le clic gauche de la souris. Bien qu’il existe également toutes sortes d’autres options de mouvement ou de geste. Y compris sourire, regarder à gauche ou lever le sourcil gauche. Vous pouvez même définir l’importance de ces mouvements ou gestes pour relayer l’entrée. Ce qui devrait aider le logiciel à être plus adaptable aux besoins des différents utilisateurs.
Project Gameface utilise la solution open source MediaPipe de Google, qui relie différents modèles d’IA pour vous donner un résultat. Le résultat est « un maillage de 468 points sur votre visage qui sont ensuite convertis en télémétrie, comme des mouvements de souris ou des clics », explique Laurence Moroney, Lead AI Advocate de Google.
Moroney déclare qu’il fonctionne nativement sur les appareils et « l’une des choses les plus étonnantes à propos de la technologie est qu’elle ne nécessite qu’une entrée d’une webcam ».
Project Gameface est co-conçu avec le streamer de jeux Lance Carr
Vous vous demandez peut-être qui est Lance Carr. Eh bien, laissez-nous vous présenter. Lance Carr est un streamer de jeu qui vit avec une dystrophie musculaire. Si vous êtes familier avec la maladie, vous savez qu’elle affaiblit vos muscles et qu’il peut être plus difficile de faire presque tout. Y compris les jeux. C’est là qu’intervient Google. La maison de Lance a brûlé en 2021 alors qu’il jouait à Diablo II. Avec tout son équipement coûteux, y compris la souris de suivi de tête adaptative qui lui permettait de jouer à des jeux.
Google a eu vent de l’histoire et a contacté Lance. Le travail a rapidement commencé entre Google et Lance pour co-concevoir Project Gameface. L’espoir de Lance est que cette technologie puisse être donnée à tous ceux qui pourraient l’utiliser pour se simplifier la vie.
Google a également rendu le code de la technologie open-source, et il est même disponible dans un aperçu à partir d’aujourd’hui pour ceux qui veulent le vérifier sur le référentiel GitHub de Google.
