Dallo stato degli strumenti all’azione scientifica: verificare la provenienza delle decisioni negli agenti per la ricerca biomedica

Abstract degli autori

Un agente scientifico può formulare lo stesso verdetto leggendo e citando prove diverse. BioAgent-DF verifica questa separazione usando coppie di valori di riferimento e candidati salvati nello stesso punto di un calcolo scientifico. Ripristina o trapianta tali valori nelle coordinate originali, quindi esegue l’agente su hardware funzionante. In otto batch di SciFact, Qwen3.5-4B mostra cambiamenti ripetibili nelle citazioni in tre combinazioni acquisizione-asserzione, mentre Gemma 3 4B IT mostra cambiamenti ripetibili nella lettura e nelle citazioni in quattro. Queste sette combinazioni riguardano due asserzioni. Il ripristino completo recupera gli insiemi di prove di riferimento, mentre i verdetti restano invariati. I cambiamenti nei verdetti osservati con il prompt di base non si sono ripetuti con il prompt contenente esempi espliciti. Esperimenti complementari sugli strumenti e sull’ottimizzatore distinguono il recupero dello stato numerico, il recupero degli elenchi ordinati e il ripristino della cronologia visibile all’agente. Questi risultati mostrano che un audit dovrebbe monitorare sia le prove usate da un agente sia la sua risposta finale. Nell’allocazione dei test di sicurezza cardiaca hERG, errori numerici silenti hanno modificato le decisioni sui test, mentre la lista ristretta con budget fisso manteneva invariato il numero di composti etichettati come bloccanti. Dopo che l’agente aveva usato valori errati, il ripristino del suo stato di esecuzione precedente e la fornitura di punteggi certificati hanno recuperato tutte le 39 decisioni modificate, mentre la sostituzione del file delle previsioni non ne ha recuperata nessuna; non è stata eseguita alcuna azione errata. Un’implementazione in streaming dei controlli aritmetici ha ridotto del 42,4% il tempo totale di esecuzione in avanti e verifica rispetto all’implementazione FP64 originale, con flag e risultati del recupero identici.