The Pulse
Il benchmark STRATA contiene 8.735 ipotesi sulle cronologie cliniche
Uno studio presenta STRATA, un benchmark che valuta i piani, le evidenze e i verdetti alla base dei test statistici su affermazioni temporali relative alle segnalazioni di eventi avversi ai vaccini. Il suo insieme di 8.735 ipotesi comprende
AI.info Team · Scritto con l’IA · verificato ·
STRATA contiene 8.735 ipotesi sugli schemi nelle cronologie cliniche, tra cui un set di test tenuto separato da 1.500 ipotesi. Il benchmark valuta se i sistemi di IA sono in grado di individuare il test statistico e le segnalazioni pertinenti a un’affermazione, oltre a giungere a un verdetto. Un sistema può fornire la risposta giusta sulla base di evidenze sbagliate, quindi STRATA valuta anche le decisioni alla base della sua conclusione.
Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi e Ping Wang dello Stevens Institute of Technology descrivono STRATA e un metodo a fasi chiamato ART in uno studio presentato ad arXiv il 29 ottobre 2026. Il lavoro riguarda gli schemi temporali nelle segnalazioni di eventi avversi ai vaccini, per esempio se un evento tenda a precederne un altro. Gli autori dello studio scrivono:
Ampi esperimenti con cinque configurazioni di modelli mostrano che i sistemi falliscono soprattutto nella scelta delle segnalazioni da includere: un divario tra verdetto ed evidenze che la sola accuratezza nasconde.
Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi e Ping Wang, autori dello studio
STRATA verifica le evidenze alla base di un verdetto
Molte valutazioni dell’analisi dei dati forniscono le segnalazioni pertinenti e valutano la risposta finale di un modello. STRATA chiede invece a un sistema di individuare l’ipotesi nulla di un’affermazione, scegliere un test e recuperare le segnalazioni da includere nel calcolo. Un verdetto corretto basato sulle segnalazioni sbagliate non è considerato del tutto corretto.
Il benchmark utilizza 3.166 cronologie cliniche tratte dalle segnalazioni di eventi avversi inviate allo U.S. Vaccine Adverse Event Reporting System. Le segnalazioni riguardano tre vaccini contro COVID-19: Janssen, Pfizer e Moderna. L’insieme completo di STRATA contiene 8.735 ipotesi formulate in quattro registri linguistici; il suo set di test tenuto separato contiene 1.500 ipotesi costruite attorno a 861 fatti distinti.
Le affermazioni riguardano schemi che includono l’ordine degli eventi, la loro co-occorrenza, la loro prossimità e il fatto che un evento compaia presto o tardi in una cronologia. Ogni caso è classificato come confermato, smentito o con evidenze insufficienti. I casi con evidenze insufficienti sono ulteriormente classificati in base all’assenza di un numero sufficiente di segnalazioni, all’assenza di segnalazioni che soddisfino i criteri o a un test inconcludente. Una procedura deterministica calcola gli insiemi di evidenze e i verdetti di riferimento.
ART separa pianificazione, recupero e test
ART sta per articulate, retrieve, test: formulare, recuperare, verificare. Per prima cosa, un modello trasforma un’affermazione in un piano che specifica il confronto, l’ipotesi nulla, il test statistico e la regola per selezionare le segnalazioni. Poi scrive un’interrogazione del database per recuperare le evidenze. Un processo deterministico esegue il test prescritto e restituisce il verdetto, anziché lasciare il calcolo finale al modello.
I ricercatori confrontano cinque configurazioni di modelli e diversi metodi di riferimento. Con ART, la configurazione di Gemma 4 da 31 miliardi di parametri raggiunge un’accuratezza dei verdetti di 0,981; Claude Opus 5.5 raggiunge 0,991, mentre GPT-5.6 ottiene a sua volta 0,981. Gli autori riferiscono che il modello aperto arriva a 0,01 dai modelli di frontiera con la stessa configurazione a fasi.
In uno studio di ablazione, la rimozione della fase di test deterministico di ART riduce l’accuratezza dei verdetti per le configurazioni esaminate. Lo studio individua inoltre negli errori nella scelta delle segnalazioni da includere una delle principali cause di fallimento. Un esempio mostra come un modello possa fornire il verdetto giusto contando soltanto le segnalazioni che confermano l’affermazione e omettendo il resto del gruppo di confronto.
Le segnalazioni non dimostrano un nesso causale con i vaccini
STRATA verifica se i sistemi siano in grado di analizzare gli schemi presenti nelle segnalazioni; non verifica se un vaccino abbia causato un evento avverso. Lo studio afferma che i verdetti di conferma descrivono regolarità in quanto segnalato a VAERS, non effetti causali.
Le ipotesi del benchmark sono generate a partire da template e al sistema viene fornito un manuale delle regole di analisi, mentre non gli viene indicato come associare la formulazione di un’affermazione a un piano di analisi. Gli autori indicano le affermazioni scritte da clinici e i template tenuti separati come prove future per verificare se i sistemi sappiano applicare tali regole a formulazioni non prodotte dai template. Affermano che il rilascio completo, codice incluso, seguirà l’accettazione.