Dalle regole agli strumenti: verifiche eseguibili per agenti LLM nel calcolo scientifico

Abstract degli autori

Gli agenti di programmazione scientifica ricevono per iscritto equazioni, condizioni al contorno e requisiti di output, poi devono valutare i programmi che modificano. Rules to Tools (R2T) fornisce verifiche eseguibili già predisposte per requisiti scientifici pubblici. I gruppi abbinati incaricati di correggere i programmi nel benchmark SciCode condividono le verifiche scritte, i programmi di partenza, il modello e i budget; il gruppo che dispone degli strumenti riceve anche un’implementazione richiamabile. In due coorti di task identificati da ID, la correzione completa si ottiene in 26 casi su 30 con il testo e in 29 su 30 con le verifiche predisposte. Tre task favoriscono gli strumenti, uno favorisce il testo e undici sono in parità. Nella coorte di otto task, i risultati sono 13/16 contro 15/16, con un intervallo bootstrap al 95% basato su cluster di task di [-12,5, 43,75] punti percentuali per la differenza. La coorte SciCode più ampia, con definizioni condivise, registra un pareggio a 13/24 per ciascun gruppo. Cinque task già esposti durante lo sviluppo, con programmi di partenza alternativi, ottengono 3/10 contro 7/10. Il gruppo che dispone degli strumenti ottiene risultati migliori nei task 17, 77 e 11; le verifiche iniziali segnalano il task 17 e non riportano violazioni per i task 77 e 11. Il task 37 favorisce il testo e non presenta violazioni segnalate inizialmente. Anche un nuovo gruppo che passa dal codice sorgente attraverso Python raggiunge 15/16, eguagliando il risultato complessivo del comando dedicato. In un confronto abbinato su equazioni alle derivate parziali, il testo dettagliato ottiene 23/24 e le verifiche 24/24, con un output del modello riportato inferiore del 31,2% per le verifiche. Il risparmio nell’output lato agente varia da una coorte all’altra, mentre l’uso di CPU pubblica aumenta in entrambe le coorti di task identificati da ID. Questi risultati misurano gli esiti della correzione, che dipendono dal task, e i costi lato agente con verifiche predisposte.