Vai al contenuto
AI.info

The Pulse

LangChain mette i record degli agenti al centro di LangSmith

LangSmith ora raggruppa in un unico record gli ambienti, le tracce e gli strumenti di sviluppo di un agente. LangChain afferma che la riprogettazione supporta anche la registrazione di agenti eseguiti su altre piattaforme.

LangChain mette i record degli agenti al centro di LangSmith

LangSmith ora raggruppa in un unico record gli ambienti, le tracce e gli strumenti di sviluppo di un agente di IA, sostituendo una gerarchia di progetti che non collegava le tracce a un agente specifico. LangChain ha illustrato la riprogettazione il 16 novembre, spiegando che il cambiamento collega le attività di creazione, esecuzione, miglioramento e governance degli agenti.

Ogni record ha un proprietario identificato per nome, un identificatore univoco a livello globale e immutabile, e un tipo che determina le informazioni mostrate nel dashboard, le connessioni ai dati e i criteri di valutazione associati all’agente. Gli ambienti locale, di sviluppo, di staging e di produzione fanno capo allo stesso ID agente.

Dai progetti agli agenti

In precedenza, le tracce inviate a LangSmith seguivano una gerarchia di progetti piatta e quelle provenienti da ambienti diversi per lo stesso agente non erano associate tra loro. Nel nuovo modello, gli ambienti e le tracce sono raggruppati sotto un record dell’agente.

Il record di un agente dà accesso alle sue tracce, alle valutazioni, ad Agent Server e ai problemi individuati da LangSmith Engine. L’azienda afferma che il cambiamento intende riunire flussi di lavoro che erano distribuiti su interfacce separate per il tracciamento, il monitoraggio e la distribuzione.

I team possono descrivere un agente usando un builder in linguaggio naturale in LangSmith Studio, scriverlo in codice usando gli harness open source di LangChain oppure ricorrere a un altro framework. Gli agenti possono essere eseguiti su LangSmith Agent Server o continuare a usare un runtime esistente.

Il tracciamento, le valutazioni, i dataset, l’annotazione e Engine funzionano con gli agenti che inviano tracce a LangSmith. LangChain afferma che i team che utilizzano sia Engine sia Agent Server possono convalidare una correzione proposta su un’anteprima di Agent Server prima di integrarla in produzione.

Dashboard su misura per tipo

Sono disponibili i tipi di agente per uso generale e per la programmazione; è previsto anche un tipo per gli agenti vocali. Assegnare un tipo fornisce un dashboard preconfigurato e criteri di valutazione adatti a quella categoria di agente.

Il dashboard per uso generale include una descrizione dell’agente, l’attività recente, il monitoraggio online, i modelli e gli strumenti più utilizzati e gli errori rilevati da Engine. La vista per gli agenti di programmazione tiene traccia delle pull request integrate, del costo dei token e dei tipi di attività completate.

Gli agenti di programmazione possono anche collegare un repository GitHub per monitorare i risultati del loro utilizzo. LangChain afferma che gli agenti dello stesso tipo vengono misurati in modo coerente, consentendo confronti senza dover prima creare viste personalizzate.

Registrazione su diversi runtime

LangChain afferma che il sistema funziona con agenti eseguiti su qualsiasi piattaforma che supporti l’OpenTelemetry Protocol (OTLP), compresi laboratori e hyperscaler. Una volta collegati, questi agenti possono essere registrati insieme a quelli sviluppati internamente.

Le metriche di costo e qualità vengono aggregate per ciascun agente nei suoi diversi ambienti. Il registro degli agenti e LLM Gateway offrono visibilità a livello di organizzazione e controlli rigorosi su ogni agente registrato.

La nuova versione di LangSmith è disponibile a livello globale in ambienti cloud, bring-your-own-cloud e self-hosted.

Cosa resta in programma

Al momento, i dashboard centralizzati sono disponibili a livello di workspace. LangChain sta lavorando a dashboard a livello di organizzazione per aggregare le metriche di prestazione e le tendenze di un’azienda.

L’azienda prevede inoltre di consentire la registrazione degli agenti tramite il provider di identità di un’organizzazione, così che i team di sicurezza possano gestire e verificare gli agenti come identità. LangChain afferma di stare lavorando a un flusso in cui le tracce di produzione revisionate confluiscono nei dataset di valutazione e le traiettorie delle esecuzioni migliori diventano dati per il fine-tuning; aggiunge che ciascuno di questi elementi esiste già in LangSmith e che ora li sta collegando.

Fonti

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli