Vai al contenuto
AI.info

The Pulse

AWS amplia il runtime AgentCore per sessioni più ampie degli agenti IA

AWS ha aumentato i limiti delle sessioni del runtime AgentCore, che ora possono arrivare fino a 8 vCPU e 32 GB, e ha aggiunto un’opzione tariffaria per gli agenti sempre attivi. L’azienda afferma che il runtime aggiornato recupera anche la memoria liberata e consente agli agenti di montare filesystem.

AWS amplia il runtime AgentCore per sessioni più ampie degli agenti IA

Le sessioni del runtime Amazon Bedrock AgentCore possono ora utilizzare fino a 8 vCPU e 32 GB di memoria, insieme a una nuova opzione di fatturazione per gli agenti sempre attivi. AWS ha annunciato le modifiche al suo ambiente gestito per distribuire ed eseguire agenti in un post del 12 novembre.

L’azienda afferma che l’avvio delle sessioni è ora fino a 15 volte più veloce e che le sessioni possono scalare fino a quattro volte la capacità di calcolo. L’aggiornamento supporta anche immagini di container fino a 10 GB e consente agli agenti di montare filesystem per salvare il proprio lavoro.

Sessioni più ampie e avvii più rapidi

Il runtime AgentCore fornisce un ambiente di calcolo gestito in cui gli sviluppatori possono distribuire ed eseguire agenti senza creare o mantenere l’infrastruttura sottostante. Ogni sessione viene eseguita in una micro macchina virtuale Firecracker isolata a livello hardware, con identità, policy e registro di audit propri.

La nuova generazione del runtime è stata presentata il 18 settembre. AWS ha dichiarato di aver modificato il modo in cui le sessioni utilizzano la memoria e in cui vengono caricati gli ambienti degli agenti: invece di ripetere l’inizializzazione per ogni nuova istanza, il servizio acquisisce un’istantanea di un ambiente inizializzato e la ripristina all’avvio di un’istanza.

Nel suo ultimo post, AWS afferma che le sessioni si avviano in meno di due secondi, a prescindere dalle dimensioni dell’immagine e dalla concorrenza. In precedenza, l’azienda aveva descritto un test con un agente echo vuoto, che non chiamava modelli né strumenti, con 5.000 invocazioni a freddo per agente su entrambe le versioni del runtime e cinque dimensioni di immagine.

AWS ha dichiarato che il test ha prodotto una latenza P75 di avvio a freddo di circa due secondi per il nuovo runtime, con immagini da 200 MB a 2 GB. I valori del runtime originale andavano da circa 5,4 secondi a quasi 30 secondi; le misurazioni lato client includevano un round trip tra regioni AWS attraverso la rete internet pubblica.

Modifiche alla memoria e alla fatturazione

Il runtime recupera la memoria entro pochi minuti dal momento in cui un agente la libera, mentre un agente inattivo scala a zero. Per gli agenti multi-turno con pause tra un’interazione e l’altra, AWS afferma che questo può ridurre fino al 68 per cento la memoria consumata per sessione.

Una nuova opzione tariffaria con baseline impegnata fissa una baseline di memoria per sessione per gli agenti sempre attivi e fattura tale quantità come minimo. La sessione può raggiungere su richiesta fino a quattro volte la baseline, con tariffe pari a quelle delle MicroVM di AWS Lambda.

Gli sviluppatori possono selezionare il nuovo runtime impostando il parametro platformVersion su V2 quando creano o aggiornano un runtime. AWS afferma che il runtime di nuova generazione è disponibile in regioni del Nord America, del Sud America, dell’Europa e dell’Asia-Pacifico.

Archiviazione e risultati dei clienti

Ora gli agenti possono anche montare un filesystem e salvarvi il proprio lavoro, incluso un bucket di Amazon Simple Storage Service con supporto FUSE. AWS afferma che i dati restano all’interno del perimetro di fiducia della sessione, in base ai controlli definiti dal cliente.

L’ambito per sessione è ancora in programma: AWS afferma che entro re:Invent le credenziali contrassegnate con l’etichetta della sessione assoceranno ogni sessione alla propria cartella di archiviazione. Questa funzionalità è distinta dal supporto per i filesystem descritto nell’aggiornamento.

Nell’annuncio, Siwei Shen, vicepresidente per l’ingegneria di Coinbase, ha dichiarato che la migrazione ha ridotto da quasi un minuto a meno di cinque secondi gli avvii a freddo delle sessioni degli agenti dell’azienda, anche durante i picchi di traffico. Shen ha anche affermato che sono stati eliminati i ritardi di avvio superiori a 30 secondi, mentre il volume settimanale degli agenti è più che raddoppiato.

Mission Cloud ha riferito i risultati di un confronto iniziale dello stesso carico di lavoro sulle due versioni del runtime. Il dottor Ryan Ries, responsabile scientifico per IA e dati, ha dichiarato che gli avvii a freddo delle richieste di inferenza erano più veloci del 35 per cento, quelli dei controlli di integrità più veloci del 77 per cento e il costo misurato del runtime per chiamata era sceso del 17 per cento.

Fonti

Notizie correlate

Esplora

Altri articoli