Ir al contenido
AI.info

The Pulse

Google ofrece en versión preliminar la recuperación de herramientas bajo demanda para Gemini API

Google ofrece en versión preliminar Tool Retrieval en Gemini Interactions API, lo que permite a los desarrolladores cargar esquemas de parámetros de herramientas cuando los necesitan. La función no tiene un cargo aparte y admite Gemini 3.6 y modelos posteriores.

Google ofrece en versión preliminar la recuperación de herramientas bajo demanda para Gemini API

Los desarrolladores ya pueden cargar esquemas de parámetros de herramientas cuando los necesitan, en lugar de enviar una biblioteca completa con cada solicitud, mediante una versión preliminar de Gemini Interactions API. Google presentó la función, llamada Tool Retrieval, el 19 de noviembre.

La función es compatible con Gemini 3.6 y modelos posteriores, incluidos todos los modelos Gemini 4. Google afirma que enviar esquemas completos de bibliotecas de herramientas grandes puede aumentar la cantidad de tokens de entrada y la latencia, y reducir la precisión de selección de herramientas a medida que crece la lista de opciones.

Cargar herramientas bajo demanda

Para habilitar la función, los desarrolladores añaden una herramienta tool_search a una solicitud y establecen defer_loading: true en las herramientas que quieren dejar en espera. El modelo sigue pudiendo ver el nombre y la descripción de cada herramienta aplazada, pero su esquema de parámetros permanece fuera del contexto hasta que se necesita.

Cuando el modelo necesita una herramienta, la solicita por su nombre; la API carga su esquema completo y el modelo llama a la función dentro de la misma solicitud. Una búsqueda, la carga de un esquema y la llamada a una función aparecen en interaction.steps, donde los desarrolladores pueden examinarlas al depurar nombres o descripciones de herramientas. Después de la llamada a la función, la aplicación la ejecuta y devuelve un function_result.

Gemini realiza la búsqueda en el servidor, sin que el desarrollador tenga que crear ni alojar un índice. Los desarrolladores pueden dejar cargadas desde el principio las herramientas que usan con frecuencia y aplazar las demás.

Caché y servidores remotos

Tool Retrieval también funciona con el almacenamiento en caché de prefijos. Los esquemas aplazados permanecen fuera del inicio del prompt, mientras que los esquemas que carga el modelo se añaden más adelante en la conversación, lo que mantiene sin cambios el prefijo almacenado en caché entre turnos.

La función también admite servidores MCP remotos en Gemini API. En esa configuración, establecer defer_loading: true en una herramienta mcp_server carga bajo demanda las herramientas que ofrece ese servidor, sin que los desarrolladores tengan que enumerarlas individualmente.

Búsquedas en el cliente

En su lugar, los desarrolladores pueden usar la recuperación en el cliente si mantienen un registro de herramientas, un índice de embeddings o un filtro de permisos por usuario. Declaran tool_search con execution establecido en client y definen los parámetros de búsqueda; después, la aplicación realiza la consulta.

Este enfoque añade un viaje de ida y vuelta por búsqueda. No es necesario declarar las herramientas de antemano, y una aplicación puede poner herramientas nuevas a disposición durante una conversación cuando un usuario conecta una integración.

Facturación por tokens

Tool Retrieval no tiene un cargo aparte. Los tokens de entrada y salida se facturan según las tarifas estándar del modelo utilizado.

Activar tool_search añade un bloque pequeño y fijo de tokens de entrada. Cada esquema que carga el modelo se factura como entrada durante el resto de la conversación, igual que ocurriría con una herramienta declarada al inicio.

El ahorro de tokens depende de que los esquemas que quedan sin cargar compensen los que se recuperan. Google recomienda a los desarrolladores medir el rendimiento de la función con su propio tráfico.

Fuentes

  1. Fuente original · Entrada de blog Google blog.google

Empresas en esta noticia

Noticias relacionadas

Explora

Más artículos