Google a récemment amélioré son AI Mode en y intégrant des capacités de recherche multimodale, permettant aux utilisateurs de poser des questions sur des images pour obtenir des réponses détaillées et contextualisées. Depuis son lancement pour les abonnés Google One AI Premium, AI Mode a reçu des commentaires positifs, notamment pour son design épuré, sa rapidité et sa compréhension des questions complexes. Suite à cette réception favorable, Google a décidé d’étendre l’accès à AI Mode à des millions d’utilisateurs supplémentaires aux États-Unis via Google Labs.
La nouvelle fonctionnalité de recherche multimodale permet aux utilisateurs de prendre une photo ou de télécharger une image, puis de poser une question à son sujet. Ils reçoivent ensuite une réponse complète accompagnée de liens pour approfondir le sujet. Cette expérience combine les puissantes capacités de recherche visuelle de Google Lens avec une version personnalisée de Gemini, permettant de poser des questions complexes sur ce qui est visible dans l’image.
Grâce aux capacités multimodales de Gemini, AI Mode peut comprendre l’intégralité d’une scène présente dans une image, y compris les relations contextuelles entre les objets ainsi que leurs matériaux, couleurs, formes et dispositions uniques. Fort de l’expertise de Google en matière de recherche visuelle, Lens identifie précisément chaque objet dans l’image. AI Mode génère ensuite plusieurs requêtes concernant l’image dans son ensemble et les objets individuels qu’elle contient, accédant à une profondeur d’information supérieure à celle d’une recherche traditionnelle.
Par exemple, AI Mode peut saisir les nuances d’une image, identifier chaque livre sur une étagère, et fournir des recommandations de livres similaires et bien notés, avec des liens pour en savoir plus ou les acheter. Les utilisateurs ont également la possibilité de poser des questions supplémentaires pour affiner leur recherche.
Google continue de tester et d’améliorer AI Mode en recueillant les retours d’utilisateurs de Labs. Les intéressés peuvent s’inscrire dès maintenant pour essayer cette nouvelle fonctionnalité sur l’application Google, disponible sur Android et iOS.