The Pulse
MatrAIx apre le proposte per un benchmark di agenti personali a lungo orizzonte
Personal Agents' Last Exam metterà alla prova gli agenti di IA su compiti che cambiano man mano che evolvono le circostanze e le autorizzazioni degli utenti. Le proposte sono aperte, ma l’infrastruttura di valutazione del progetto è ancora in fase di realizzazione.

MatrAIx ha aperto la raccolta di proposte per un benchmark open source pensato per verificare se gli agenti personali di IA sono in grado di gestire compiti mentre cambiano le circostanze, i piani e le autorizzazioni degli utenti. Il progetto, chiamato Personal Agents' Last Exam, è una versione open source di PersonalAgentEval dell’azienda; la sua infrastruttura di valutazione è ancora in fase di realizzazione.
È stato lanciato il 15 novembre, con percorsi di candidatura distinti per ambienti e compiti. La valutazione precedente aveva rilasciato la sua prima versione il 14 ottobre.
Compiti che cambiano nel tempo
Il benchmark proposto è progettato attorno a compiti con risultati verificabili, nei quali un agente deve conciliare la storia di una persona con nuove evidenze, coordinarsi tra app e persone e decidere quando agire, chiedere o aspettare. Il progetto elenca sfide come dedurre preferenze non esplicitate, aggiornare ricordi obsoleti, rispettare limiti di spesa e consensi ritirati e destreggiarsi tra interfacce che cambiano o sessioni scadute.
Un caso esemplificativo riguarda una richiesta di riordinare degli snack: l’agente dovrebbe tenere conto dell’allergia della figlia, di un richiamo recente e di una confezione già presente all’asilo nido. In un altro caso, un volo sostitutivo arriva in un aeroporto diverso e l’agente deve considerare una prenotazione di un’auto già esistente e un messaggio senza risposta del partner della persona in viaggio.
Gli ambienti previsti coprono ambiti come acquisti, viaggi, salute, lavoro e utenze domestiche. App personali come la posta, il calendario e i messaggi possono collegare i flussi di lavoro tra questi ambiti.
Come funzioneranno i contributi
Nel percorso dedicato agli ambienti, i contributori possono proporre un’app o un sito web, i relativi flussi di lavoro e collegamenti, insieme a un piano di realizzazione e a controlli di qualità. Le proposte di compiti descrivono invece un profilo utente, la storia pertinente, una situazione e la sfida di personalizzazione, oltre ai piani per gli scenari, la valutazione e le esecuzioni dei modelli.
Dopo l’approvazione di un piano e quando l’infrastruttura sarà disponibile, i contributori dovranno aggiungere implementazione ed evidenze alla stessa pull request. I revisori confronteranno il lavoro con l’ambito approvato e riprodurranno i risultati chiave; solo una pull request convalidata e integrata sarà considerata un contributo accettato.
Per i compiti, gli autori dovranno sviluppare uno scenario eseguibile, una cronologia, un contesto, griglie di valutazione e una soluzione di riferimento. La guida ai contributi chiede inoltre di pianificare le interazioni con l’utente e gli eventi del mondo, lasciando spazio a più strategie valide per l’agente.
Requisiti di difficoltà
Per la revisione dell’implementazione, gli autori dei compiti devono presentare almeno un’esecuzione indipendente senza suggerimenti per ciascun modello designato delle famiglie GPT, Claude e Gemini, che agisca da agente personale. Il progetto raccomanda cinque esecuzioni per modello e assegna una priorità di revisione maggiore alle proposte che presentano le evidenze complete di tutte e cinque le esecuzioni.
Ogni modello designato deve fallire tutte le esecuzioni presentate senza suggerimenti e ottenere un punteggio medio normalizzato inferiore al 50% nella griglia di valutazione perché il compito sia accettato. Per un compito di punta, la soglia è inferiore al 30%. Un’esecuzione separata con suggerimenti per ciascun modello di riferimento deve raggiungere un punteggio del 100% nella griglia di valutazione e superare tutti i criteri di successo.
La prima versione dell’infrastruttura pubblicherà l’elenco iniziale dei modelli, secondo la guida ai contributi.
Fonti
Notizie correlate
- I test di LiveGeo rivelano che gli agenti di IA faticano quando cambiano le condizioni geografiche
- Cloudflare rende open source il browser sperimentale Kitesurf per agenti IA
- Pine AI lancia uno studio di produzione cinematografica open source e aggiunge le telefonate
- KeyBanc rileva una crescita più rapida ma margini più deboli nelle aziende IA-first
- LangChain mette i record degli agenti al centro di LangSmith