Avec Gemini Pro, Google apporte l’IA dans les apps : pourquoi et comment l’intégrer ?

Début décembre, Google levait le voile sur Gemini, le modèle de langage avancé (LLM) “le plus performant et le plus général” jamais lancé par la firme, dixit elle-même, et dans la foulée officialisait le lancement du SDK Gemini Pro pour Android, pour booster vos apps à l’IA. Au menu aussi : une version plus light de Gemini, appelée Nano, embarquée en local sur certains devices (notamment pour les données sensibles), et une version Ultra accessible sur abonnement, encore plus avancée pour traiter des requêtes vraiment complexes. 

Comment intégrer Gemini dans vos apps ?

Gemini Pro

Avec Gemini Pro, Google offre une suite d’outils pour faciliter l’intégration de l’IA dans vos apps.

Le SDK Google AI permet une intégration directe à partir des applications Android et supprime la nécessité pour les développeurs de construire et de gérer leur propre infrastructure, réduisant ainsi les coûts de développement et améliorant la rapidité de traitement.

En s’appuyant sur le nouveau Google AI Studio, les développeurs peuvent facilement concevoir leur application d'IA. Une fois que le prompt y est modélisé, il vous suffit de cliquer sur "Obtenir le code" pour générer un extrait de code Kotlin. Les développeurs pourront s’appuyer sur des vérificateurs de lint, ce qui facilitera l'utilisation des clés d'API et garantira la sécurité.

Il reste ensuite à inventer les services s’appuyant sur la puissance de Gemini. Dans son guide, Google propose quelques cas d'utilisation courants :

• Générer du texte à partir d'une entrée de texte uniquement (gemini-pro)
• Générer du texte à partir d'une entrée de texte et d'image (gemini-pro-vision, multimodale)
• Créer des conversations multitours (chat, texte uniquement pour l’instant)
• Utiliser le streaming pour des interactions plus rapides (generateContentStream)

Rien de bien extraordinaire à date, mais les usages de base pour commencer à jouer avec l’outil !

Gemini Nano 

Gemini Nano de son côté a été conçu pour exécuter des tâches embarquées nativement sur nos smartphones, à commencer par le Pixel 8 Pro sous Android 14. Il peut par exemple résumer des audios de l’app Enregistreur ou suggérer des SmartReplies via le clavier Gboard. Ici, les données ne quittent pas l’appareil, ce qui rend ces fonctionnalités utilisables même en hors ligne.

Pour accéder à Gemini Nano, Google dévoile Android AICore, un nouveau service système pour les modèles de base sur smartphone. Android AICore gère les modèles d’IA, les temps d’exécution et permet de bénéficier d’un niveau de sécurité avancé. 

Que va changer Gemini pour les applications et les sites ? 

Le triptyque Pro - Nano - Ultra va permettre à la famille Gemini de couvrir un large spectre d’usages, allant de la rédaction/synthèse de littérature scientifique à la résolution de problèmes de mathématiques, en passant par la fabrication de jeux ou encore (et ça nous a bien titillé chez USERADGENTS) la création d’expériences utilisateurs sur-mesure pour répondre à des demandes spécifiques. Entendez par là que Gemini est en capacité de façonner après une simple requête, toute une interface où les utilisateurs pourront naviguer pour obtenir des précisions. 

Nous avons identifié quelques cas d’usages potentiels pour nos applications mobiles & nos sites : pour des services e-commerce de déco/mobilier par exemple, où Gemini pourrait suggérer l’agencement d’une pièce à partir d’une photo, dans des applications de réservation de vols ou d’hôtels pour faire de l’analyse visuelle de documents officiels, ou encore pour faire de la reconnaissance optique de caractères (OCR) intelligente et par exemple utiliser Gemini pour créer un contact dans le téléphone directement à partir du scan d’une carte de visite. Mais avant tout cela, grâce à Gemini Pro, ce sont des modèles d’IA plutôt conversationnels que vous pouvez d’ores et déjà intégrer à vos services mobiles.

Le NRF à récemment démontré les opportunités offertes par l’IA dans le retail, gros consommateur d’apps mobiles. Dans la recherche de produits évidemment, avec le “Generative AI-powered search”, permettant de demander “de l’aide pour organiser un goûter d’anniversaire sur le thème des licornes” et ainsi obtenir toute une liste de produits liés au sujet comme le mentionnait Maddyness. Ou encore Walmart ou Hungryroot qui génèrent des suggestions de paniers automatisés, à partir de l’analyse de l’historique de commandes et d’autres paramètres.

Autre exemple récent : la marque de lingerie Victoria’s Secret a annoncé avoir misé sur les possibilités du Vertex AI Studio, plus poussées, pour offrir une expérience d'achat davantage personnalisée à ses clients, avec des recommandations adaptées à leurs habitudes d'achat via un chatbot ou directement depuis la recherche, un nouvel outil de recherche visuelle, une analyse de la data collectée et des tendances sociales en cours pour anticiper les besoins de réapprovisionnement…

En connectant les apps directement avec les modèles LLM et les données de nos clients, nous allons pouvoir inventer de nouveaux services et donner tout son sens à l'appellation smartphone. Avec l’annonce aussi de la sortie du Samsung Galaxy S24 et donc du partenariat entre Samsung et Google Cloud pour embarquer toute la team Gemini dans ses smartphones, on peut se dire que l’IA va enfin remettre de l’intelligence dans le mobile. Et ça, c’est pour nous une très bonne nouvelle !

Vincent Pillet, Co-fondateur & DGA @USERADGENTS