M4Bench: valutare le specifiche procedurali per gli agenti che derivano dati dalle cartelle cliniche elettroniche

Abstract degli autori

La ricerca clinica basata sulle cartelle cliniche elettroniche dipende da variabili derivate le cui definizioni si trovano al di fuori dello schema: nei codici delle voci, nelle finestre temporali, nelle regole per i dati mancanti e nelle scelte sulla granularità dell’output, che modificano le coorti e le conclusioni successive. Presentiamo M4Bench, 28 task di derivazione clinica in 15 famiglie di task basati su MIMIC-IV ed eICU, per verificare se gli agenti di IA che scrivono codice riescono a riprodurre queste derivazioni e in che modo le skill degli agenti sottoposte alla revisione di clinici ne modificano i risultati. I test di controllo scompongono il contributo delle skill in completezza delle specifiche, formato di presentazione e familiarità con lo schema. In una campagna Codex isolata tramite Docker (GPT 5.4 Mini e GPT 5.5), le skill aumentano il punteggio di ricompensa di 0,136 rispetto alla baseline senza skill, con miglioramenti in 26 task su 28. La completezza delle specifiche spiega gran parte del guadagno: in un sottoinsieme di controllo di otto task, una specifica operativa da sola aumenta il punteggio di ricompensa di 0,162, mentre le skill aggiungono soltanto 0,024, una differenza indistinguibile da zero. In un sottoinsieme di dieci task, le skill esca ottengono lo stesso punteggio della condizione senza skill e il codice SQL di riferimento grezzo quasi eguaglia le skill mirate: risultati che non indicano nel contesto generico o nel formato delle skill la spiegazione del guadagno. L’offuscamento e la ristrutturazione dello schema conservano rispettivamente l’86% e il 70% del guadagno dovuto alle skill (GPT 5.4 Mini, 26 task su MIMIC-IV): si tratta di una verifica descrittiva della robustezza, non di un limite alla memorizzazione. Una replica descrittiva con Claude Code su tutti i 28 task (Opus 4.7 e Sonnet 4.6, 560 esecuzioni) mostra una tendenza coerente (+0,120, con miglioramenti in 21 task su 28). Questi guadagni rappresentano una concordanza parziale con il riferimento, non task completati: solo 25 delle 280 esecuzioni di Codex con skill e 13 delle 280 senza skill superano tutti i controlli rigorosi, e le skill modificano appena quali righe restituiscono gli agenti (F1 delle chiavi +0,003). Le skill sono pubblicate in un formato markdown versionato e sottoponibile alla revisione di clinici, insieme a una verifica della validità del riferimento per ciascuna famiglia. M4Bench pubblica task, skill, codice di valutazione ed evidenze depurate per ciascuna esecuzione come benchmark open source.