Depuis son lancement, Google Gemini est devenu de plus en plus intelligent. L'application dédiée apporte le puissant chatbot à vos téléphones, et Google vient d'apporter deux nouvelles fonctionnalités qui le rendront encore meilleur. Google a lancé la fonctionnalité Ask about this screen et Ask about this video pour Gemini.
L'application Gemini est téléchargeable gratuitement et est en cours de déploiement sur les tablettes. Grâce à elle, vous disposez de la puissance de Gemini directement sur votre téléphone. Si vous souhaitez utiliser Gemini comme assistant vocal, vous pouvez le définir comme tel. N'oubliez pas de télécharger l'application si vous êtes intéressé par ce qu'elle a à offrir.
Google propose la fonctionnalité « Demander à propos de cet écran »
Revenons à l'année 2015. Google a dévoilé une nouvelle fonctionnalité révolutionnaire appelée Google Now On Tap. Si vous vous en souvenez, vous étiez probablement aussi enthousiaste que nous à son sujet. Il s'agissait de la fonctionnalité qui permettrait à Google de regarder votre écran et de lire le contexte de ce qui s'y trouve.
Bien sûr, cette fonctionnalité est venue et disparue, mais la mentalité a perduré avec Google Lens. Eh bien, il semble qu'après neuf ans de travail acharné, Google ait finalement réalisé cette fonctionnalité de rêve, mais son nom n'est pas plus accrocheur. Aujourd'hui, Google a commencé à déployer la fonctionnalité appelée Ask about this screen.
Bien que le nom ne soit pas très explicite, il est assez simple et intuitif à utiliser. Comme son nom l'indique, lorsque vous invoquez Gemini, vous pourrez lui demander ce qui se trouve actuellement sur votre écran. Cela facilite l'utilisation de l'une des fonctionnalités les plus utiles de Google Lens. Vous pouvez prendre des captures d'écran et les importer dans Google Lens et lui demander de lire ce qu'elles contiennent. En utilisant Ask about this screen, Gemini prendra la capture d'écran et l'analysera pour vous, éliminant ainsi l'intermédiaire.
Après avoir invoqué Gemini, vous verrez le bouton d'action apparaître au-dessus du champ de texte, vous n'aurez donc pas besoin de le saisir ou de le dire. Cela rend la fonctionnalité beaucoup plus pratique. Le bouton apparaîtra pour vous quel que soit l'écran ou l'application que vous utilisez. La seule exception est si vous êtes sur YouTube.
À la manière d'un chatbot IA classique, Gemini vous donnera une explication détaillée de ce qui se trouve à l'écran. Imaginons que vous voyez une image d'une certaine fleur sur un réseau social et que la publication ne vous donne aucun contexte quant à ce dont il s'agit. Vous pouvez demander à Gemini de scanner ce qui se trouve sur votre écran et de vous dire de quoi il s'agit.
Il y a aussi des questions sur cette vidéo
L'autre fonctionnalité dévoilée par Google est spécialement conçue pour YouTube. Désormais, Google ne va pas regarder la vidéo en entier en un clin d'œil et vous donner un aperçu détaillé de ce dont il s'agit. Il va extraire des informations sur la vidéo, comme les sous-titres. Si la vidéo n'a pas de sous-titres, la fonctionnalité ne fonctionnera pas.
Ces deux fonctionnalités sont en train de faire leur chemin vers les utilisateurs, et il ne semble pas que Google les garde en otage dans les téléphones Pixel. Elles ont été découvertes dans la version 15.33.38.28 de l'application.
Utilisation de la fonctionnalité
La fonctionnalité fonctionne bien lors de mes tests. Le problème est que vous devez utiliser une application pour qu'elle fonctionne, vous ne la verrez donc pas apparaître lorsque vous êtes sur votre écran d'accueil. Cependant, elle fonctionne avec des applications système comme les paramètres.
En ce qui concerne la vitesse, elle est très rapide. Cela vaut également pour l'analyse des vidéos. J'ai pu obtenir un aperçu complet de la vidéo en quelques secondes seulement, et je pense que c'est vraiment impressionnant. J'aime aussi la possibilité de poser des questions complémentaires sur ce que vous regardez.
Je n'ai qu'un seul petit reproche à faire à cette fonctionnalité. Tout d'abord, après avoir appuyé sur le bouton, vous devez appuyer sur le bouton du microphone pour commencer à parler. Il serait bien que le microphone soit actif dès le départ pour commencer à parler tout de suite. De cette façon, les personnes qui parlent n'ont pas à faire d'étape supplémentaire. Les personnes qui tapent vont de toute façon interagir avec l'écran, donc un appui supplémentaire n'a pas vraiment d'impact sur l'expérience.
