Misurare gli agenti di IA come compagni di squadra attraverso l’intelligenza collaborativa

Abstract degli autori

I progressi dell’IA vengono spesso misurati in base a ciò che un singolo modello è in grado di fare da solo. Eppure, le squadre di agenti di IA stanno iniziando a realizzare progressi decisivi e scoperte in ambito scientifico, medico, matematico e dell’ingegneria del software. Man mano che l’IA comincia a lavorare in squadre composte da agenti e persone, la capacità di collaborare diventa una componente fondamentale della sua intelligenza. La ricerca sulle squadre umane misura questa capacità da decenni. Ispirandoci a questo approccio, presentiamo il Collaborative Intelligence Benchmark, che misura quanto bene un agente di IA lavori come compagno di squadra. Comprende 240 task distribuiti in 8 dimensioni del lavoro di squadra, dal rifiuto di una scorciatoia non sicura al controllo del lavoro lasciato da un modello meno capace. Ogni task deriva da un resoconto reale o da un benchmark esistente, dai rapporti sugli incidenti aerei e dai casi clinici fino ai task di programmazione e alle negoziazioni, e ha un esito verificabile in modo programmatico. Per isolare il lavoro di squadra dalle capacità individuali, i modelli ricevono un punteggio solo sui task che sono in grado di risolvere da soli quando dispongono di tutte le informazioni. Valutiamo 18 modelli a pesi chiusi e a pesi aperti e scopriamo che tutti i modelli, indipendentemente dalle dimensioni e dalle famiglie, presentano evidenti limiti come compagni di squadra: il migliore ottiene appena 82,2 su 100. I modelli di frontiera quasi sempre rifiutano scorciatoie non sicure e segnalano comportamenti scorretti, ma cedono alle pressioni interpersonali: raggiungono l’accordo complessivamente migliore in appena il 14% dei conflitti e il loro tasso di superamento scende dal 97% all’81% quando subentrano in un task in cui un modello meno capace ha imbrogliato. È fondamentale notare che una capacità generale elevata non garantisce un buon lavoro di squadra: modelli con punteggi di capacità quasi identici possono differire fino a 11 punti nei loro risultati come compagni di squadra. Il benchmark comprende 160 task pubblici con codice e dati, oltre a 80 task riservati alla valutazione. Man mano che gli agenti di IA lavorano sempre più spesso al fianco di altri agenti e di persone, la capacità di collaborare efficacemente sta diventando una capacità cruciale da misurare e sviluppare.