Aller au contenu
AI.info

The Pulse

Google présente en avant-première la récupération d’outils à la demande pour l’API Gemini

Google présente en avant-première Tool Retrieval dans Gemini Interactions API, qui permet aux développeurs de charger les schémas de paramètres des outils au besoin. Cette fonctionnalité n’entraîne aucun coût supplémentaire et est compatible avec Gemini 3.6 et les modèles ultérieurs.

Google présente en avant-première la récupération d’outils à la demande pour l’API Gemini

Les développeurs peuvent désormais charger les schémas de paramètres des outils au besoin, au lieu d’envoyer une bibliothèque complète à chaque requête, grâce à une préversion dans Gemini Interactions API. Google a présenté cette fonctionnalité, appelée Tool Retrieval, le 19 novembre.

La fonctionnalité est compatible avec Gemini 3.6 et les modèles ultérieurs, y compris tous les modèles Gemini 4. Selon Google, l’envoi des schémas complets de grandes bibliothèques d’outils peut augmenter le nombre de tokens d’entrée et la latence, et réduire la précision de la sélection des outils à mesure que la liste des candidats s’allonge.

Charger les outils à la demande

Pour activer la fonctionnalité, les développeurs ajoutent un outil tool_search à une requête et définissent defer_loading: true pour les outils qu’ils souhaitent différer. Le modèle peut toujours voir le nom et la description de chaque outil différé, mais son schéma de paramètres reste hors du contexte jusqu’à ce qu’il soit nécessaire.

Lorsque le modèle a besoin d’un outil, il le demande par son nom, l’API charge son schéma complet et le modèle appelle la fonction dans le cadre de la même requête. Une recherche, le chargement d’un schéma et l’appel d’une fonction apparaissent dans interaction.steps, où les développeurs peuvent les examiner lorsqu’ils déboguent des noms ou des descriptions d’outils. Après l’appel de la fonction, l’application exécute celle-ci et renvoie un function_result.

Gemini effectue la recherche sur le serveur, sans que les développeurs aient à créer ou héberger un index. Les développeurs peuvent laisser les outils fréquemment utilisés chargés dès le départ et différer les autres.

Mise en cache et serveurs distants

Tool Retrieval fonctionne également avec la mise en cache du préfixe. Les schémas différés restent exclus du début du prompt, tandis que les schémas chargés par le modèle sont ajoutés plus tard dans la conversation, ce qui permet de conserver le préfixe mis en cache inchangé d’un tour à l’autre.

La fonctionnalité prend également en charge les serveurs MCP distants dans Gemini API. Dans cette configuration, définir defer_loading: true pour un outil mcp_server permet de charger à la demande les outils exposés par ce serveur, sans que les développeurs aient à les répertorier individuellement.

Recherches côté client

Les développeurs peuvent aussi opter pour la récupération côté client s’ils gèrent un registre d’outils, un index d’embeddings ou un filtre d’autorisations par utilisateur. Ils déclarent tool_search avec execution défini sur client et définissent les paramètres de recherche ; l’application effectue alors la recherche.

Cette approche ajoute un aller-retour par recherche. Les outils n’ont pas besoin d’être déclarés à l’avance, et une application peut en proposer de nouveaux au cours d’une conversation lorsqu’un utilisateur connecte une intégration.

Facturation des tokens

Tool Retrieval n’entraîne aucun coût supplémentaire. Les tokens d’entrée et de sortie sont facturés aux tarifs standard du modèle utilisé.

L’activation de tool_search ajoute un petit bloc fixe de tokens d’entrée. Chaque schéma chargé par le modèle est facturé comme token d’entrée pour le reste de la conversation, comme ce serait le cas pour un outil déclaré dès le début.

Les économies de tokens dépendent du fait que les schémas laissés non chargés représentent un volume supérieur à celui des schémas récupérés. Google recommande aux développeurs de mesurer les résultats de la fonctionnalité sur leur propre trafic.

Sources

  1. Source originale · Billet de blog Google blog.google

Entreprises citées

Articles liés

Explorer

Autres articles