Les entreprises d’IA s’efforcent toutes de « construire une meilleure souricière », pour ainsi dire. Ils tentent de créer des modèles d’IA qui feront avancer l’humanité (et inciteront davantage de personnes à y investir). Les entreprises veulent créer l'assistant d'IA parfait qui leur facilitera la vie, et la plupart des gens ne connaissent pas l'incroyable outil qu'est Stream Realtime d'AI Studio de Google.

Android a l'application Gemini, mais qu'en est-il de votre ordinateur ? Bien sûr, il existe des outils qui apportent l'IA au PC, comme le client de bureau ChatGPT et le Copilot de Microsoft, mais qu'est-ce que Google a ? Google propose certains outils que vous pouvez utiliser sur votre ordinateur, mais Stream Realtime dans AI Studio est ce qui se rapproche le plus de l'entreprise d'un assistant IA à part entière capable de voir l'écran de votre ordinateur.

Alors, quelle est cette fonctionnalité et quelles sont les meilleures façons d’utiliser cet outil d’IA ? Découvrons-le !

Qu’est-ce que le streaming en temps réel dans AI Studio ?

AI Studio est une plateforme complète qui vous permet de créer vos propres modèles d'IA basés sur Gemini. Si vous souhaitez créer un modèle, vous pouvez obtenir votre clé API et commencer à la créer. Cependant, nous sommes ici pour utiliser l'une des fonctionnalités de cette plateforme.

Tout d’abord, accédez au site officiel d’AI Studio et assurez-vous que vous êtes connecté si ce n’est pas le cas. Une fois connecté, vous souhaiterez ouvrir le panneau latéral sur le côté gauche de l’écran. Cliquez sur le bouton Stream Realtime et vous verrez l'écran apparaître avec trois options. Vous pouvez soit parler à Gemini, un peu comme Gemini Live, allumer votre webcam pour permettre à Gemini de voir le monde, ou laisser Gemini voir votre écran. Pour utiliser cette fonctionnalité, vous devez vous assurer que vous autorisez votre navigateur à accéder à votre microphone et à votre caméra.

Si vous souhaitez partager votre écran, vous devrez choisir la troisième option et choisir l'écran que vous souhaitez partager. Vous pouvez partager la fenêtre du navigateur que vous utilisez actuellement, mais vous pouvez également cliquer sur d'autres fenêtres et d'autres applications. Lorsque vous utilisez cette fonctionnalité, elle exploitera votre microphone et vous pourrez avoir une conversation avec lui. C'est comme avoir Gemini Live sur votre ordinateur.

Une chose à noter est qu’au moment de la rédaction de cet article, l’outil utilisera Gemini 2.0 Experimental. Vous devez donc vous attendre à ce qu’il utilise des modèles plus puissants au fil du temps. Une autre chose à noter est que Stream Realtime peut afficher des fenêtres distinctes sur votre ordinateur, mais il ne peut pas afficher votre bureau. Il peut cependant afficher des programmes autres que votre navigateur.

Comment Stream Realtime peut vous faciliter la vie

Vous disposez donc d’un puissant outil d’IA à portée de main, mais que faire ensuite ? Voici quelques façons dont Stream Realtime peut vous faciliter la vie.

Naviguer dans votre navigateur

Il s'agit d'une fonctionnalité qui pourrait mieux fonctionner si vous utilisez Chrome. Gemini a une connaissance assez approfondie de Chrome, mais vous n'avez pas besoin d'utiliser Chrome. Nous l'avons également testé avec Microsoft Edge. Gemini pourra voir toute la fenêtre du navigateur, donc tous les onglets que vous avez ouverts ainsi que vos favoris.

Vous pouvez lui poser des questions telles que « Comment puis-je organiser mes favoris ? » ou « Puis-je avoir de l'aide pour organiser mes onglets ? » Parallèlement à cela, vous pouvez lui demander où se trouvent certains menus si vous oubliez ou comment accéder à certaines parties de l'interface. Cela peut également fonctionner pour d'autres navigateurs ; cependant, vous devez vous assurer que vous utilisez un navigateur plus populaire comme Edge ou Firefox.

Ton copain pour les devoirs

Lorsque vous travaillez sur un travail scolaire, vous pouvez appeler AI Studio et choisir l'option de partage d'écran. Il pourra voir quels problèmes vous rencontrez sur votre écran. Puisqu'il utilise votre microphone, vous pourrez avoir une conversation sur le problème que vous essayez de résoudre. L'IA sera capable de comprendre ce qui se passe dans le problème, elle vous guidera donc à travers celui-ci.

Le truc avec l'IA générative moderne, vous pourrez en parler sur un ton naturel, alors n'ayez pas peur de dire quelque chose comme « J'essaie de découvrir comment calculer ce problème, mais j'ai oublié certains de ces problèmes. les premiers pas que je dois faire. Aide-moi, mais ne me donne pas la réponse. Assurez-vous de lui dire de ne pas vous donner la réponse si vous ne la souhaitez pas, car, lors de nos tests, il passerait le problème au bulldozer et vous donnerait la réponse.

Il y a quelque chose à noter ; vous devrez revérifier votre travail. Il y a eu quelques moments où les Gémeaux ont carrément mal répondu aux questions. On lui a présenté un problème de 537 + 426 et il a répondu 1 063. Il est préférable de le poser pour vous aider à trouver la bonne réponse plutôt que d'écrire la réponse à votre question.

Il n'est pas seulement capable de résoudre des problèmes de mathématiques. Gemini a progressé tout au long de l'année dernière pour devenir plutôt doué en résolution de problèmes, vous pouvez donc vous attendre à ce qu'il soit en mesure de vous aider dans vos devoirs, quelle que soit la matière. Cela peut être un excellent tuteur pour vous aider à passer au travers.

Votre co-auteur

Étant donné que Gemini a une vue en direct de votre écran, vous pouvez l'utiliser pour vous aider à rebondir sur certaines idées d'histoire. Vous avez une conversation en tête-à-tête avec lui comme s'il s'agissait d'un autre être humain. Nous ne vous conseillons pas de laisser Gemini générer une histoire pour vous. Cependant, vous pouvez toujours l'utiliser pour enrichir votre écriture.

Par exemple, vous pouvez demander des idées sur la manière de faire avancer votre histoire ou sur les suggestions qu'elle contient. Encore une fois, vous pouvez parler avec les Gémeaux de manière très conversationnelle, afin de pouvoir vous détendre et faire comme si vous discutiez simplement avec votre meilleur ami. En testant cela, nous avons créé un conte de fées assez ringard sur un méchante princesse qui est guérie par une sorcière pour avoir la peau aussi froide que la glace. Elle doit trouver quelqu'un dont elle peut tomber amoureuse pour briser le charme.. Cette histoire, en plus de demander un procès à Disney, provenait uniquement de crachats et de échanges d'idées.

La beauté de ceci est que les Gémeaux peuvent voir ce qui se trouve sur votre écran. Disons que vous souhaitez rédiger un brouillon d’une histoire. Les Gémeaux peuvent l’examiner et obtenir un certain contexte. Sachez simplement qu'il ne pourra voir que ce qui est à l'écran. Ainsi, si votre histoire fait plusieurs pages, elle ne sera pas aussi efficace. Cependant, il vous verra taper en direct, il disposera donc toujours des informations les plus récentes.

Aide à la retouche photo

Avoir une IA capable de regarder l’écran de votre ordinateur est (entre autres choses) utile lorsqu’il s’agit d’éditer des photos. Vous pouvez poser des questions à l'IA sur la manière dont vous souhaitez modifier l'image. L'IA vous donnera des conseils et vous indiquera quels types d'outils vous pouvez utiliser.

Vous pouvez dire des choses comme « Je veux rendre cette image plus dramatique » par exemple. Ensuite, il travaillera avec vous jusqu'à ce que vous soyez satisfait de votre image. Puisqu'il traite en temps réel, il vous aidera lors de la modification de la photo.

Stream Realtime est un excellent outil

Bien que Stream Realtime ne soit pas le genre d'assistant capable d'accéder au logiciel de votre ordinateur et d'effectuer des actions en votre nom, il reste un excellent outil à utiliser si vous avez besoin d'aide dans vos tâches quotidiennes. Cela vous donne un avant-goût du genre de choses que Google et d’autres entreprises veulent pouvoir faire avec l’IA.

A lire également