MA-Bench: misurare la pianificazione operativa nei modelli linguistici

Abstract degli autori

Quanto è capace un modello linguistico di trasformare un ampio insieme di documenti incompleti e in parte contraddittori in un piano, quando non esiste un’unica risposta corretta? Presentiamo Mission Analysis (MA)-Bench, basato sull’analisi della missione, la prima fase della pianificazione operativa militare, in cui uno stato maggiore esamina l’intera situazione e definisce il problema prima che qualcuno proponga una soluzione. I suoi 10 scenari, costruiti da esperti, abbinano fascicoli sintetici di dieci-dodici documenti a 1.257 requisiti con esito «superato» o «non superato», formulati da esperti e ciascuno corredato di informazioni sulla fonte, sul tipo di domanda e sul livello di importanza. Un modello di ragionamento usato come giudice valuta ogni briefing rispetto ai requisiti senza vedere i documenti; valuta come un quinto pianificatore qualificato, lasciando invariato l’accordo tra i quattro pianificatori del gruppo (Fleiss $κ$ da 0,42 a 0,41), e un giudice di un secondo fornitore riproduce la classifica dei modelli (Spearman 0,94). Tra venti modelli di frontiera e con pesi aperti, il migliore soddisfa il 62% dei criteri della griglia di valutazione. I modelli ottengono i risultati migliori sui fatti esplicitamente riportati nei documenti (58%) e i peggiori sulle valutazioni da inferire (33%); sei insuccessi su dieci sono omissioni anziché errori. MA-Bench valuta le conclusioni, non la prosa. Rendiamo disponibili i fascicoli, le griglie di valutazione, i prompt, il sistema di attribuzione dei punteggi e tutti i briefing valutati, con gli esiti per ciascun criterio.