The Pulse
LlamaIndex propone una valutazione basata sulla gravità per l’analisi dei documenti
LlamaIndex afferma che il benchmark ParseBench-2 valuta gli errori nell’analisi dei documenti in base alla loro gravità. L’azienda descrive un test che copre 4.317 casi a livello di pagina e avverte che la concordanza con la propria politica di valutazione non dimostra la concordanza con ogni utente.

I punteggi dell’analisi dei documenti dovrebbero penalizzare un valore finanziario errato più pesantemente di un’innocua modifica alla formattazione di una tabella, secondo il progetto di benchmark descritto da LlamaIndex. In un post del 19 novembre, l’azienda ha illustrato come ParseBench-2 assegna un livello di gravità agli errori e verifica se le proprie regole di valutazione rispondono di conseguenza.
Il benchmark copre 4.317 casi a livello di pagina in sei dimensioni: testo, formattazione, tabelle, grafici, moduli e ancoraggio visivo. Per tutti i 1.025 grafici, le tabelle di riferimento complete sostituiscono i controlli su valori selezionati, consentendo la valutazione di ciascuna serie di dati.
Perché la gravità è importante
I parser di documenti trasformano materiali come bilanci, documenti assicurativi depositati e moduli in output leggibili dalle macchine. Un benchmark può verificare se un parser trascrive il testo, conserva l’ordine di lettura, associa i valori delle tabelle alle intestazioni corrette e identifica i campi dei moduli e i relativi valori.
Un esempio nel post illustra una debolezza del precedente ParseBench-1: un output che troncava un valore finanziario ha ottenuto 99,2, mentre un output corretto nei fatti ma con una marcatura diversa della tabella ha ottenuto 43,6. Secondo l’azienda, anche una metrica di confronto separata per le tabelle, TEDS, ha classificato più in alto l’output alterato.
Le misure di similarità possono diluire l’effetto di un errore grave in una quantità maggiore di contenuti corretti, mentre i confronti strutturali possono penalizzare rappresentazioni equivalenti. LlamaIndex afferma che l’importanza della marcatura dipende dall’applicazione: una semantica esplicita delle tabelle può essere importante per il software che utilizza la marcatura, mentre l’estrazione di dati finanziari può attribuire maggior peso ai valori e alle loro associazioni.
Verificare le regole di valutazione
ParseBench-2 classifica gli errori e le variazioni innocue nelle categorie critica, grave, lieve o trascurabile, definendo intervalli obiettivo per l’entità della variazione che ciascuna dovrebbe apportare al punteggio. Le sei suite di test comprendono 330 tipi di modifiche controllate a output altrimenti corretti.
I ricercatori misurano quindi gli scostamenti dagli obiettivi e usano agenti di programmazione per rivedere le regole di confronto, i rilevatori di errori e i pesi, sotto la supervisione umana. Gli esseri umani specificano il comportamento previsto e risolvono le ambiguità, mentre i controlli di regressione guidano le modifiche al sistema di valutazione. A parità di input e versioni, il sistema di valutazione risultante è deterministico.
Per cinque dimensioni, a una pagina viene assegnato il valore più basso tra il punteggio di recupero dei contenuti e un limite massimo determinato dalla gravità. Secondo la politica predefinita, il primo errore critico rilevato limita a 90 il punteggio di una pagina che altrimenti sarebbe perfetta. L’ancoraggio visivo segue regole separate, senza questo limite.
Giudici e personalizzazione
L’azienda ha inoltre testato un giudice basato su un modello linguistico, Haiku 5.5, su 412 pagine di documenti assicurativi depositati presso SERFF, confrontando l’output in testo semplice di LiteParse con r-1-mini. Ogni pagina ha ricevuto tre valutazioni, variando l’ordine di presentazione.
Il team ha esaminato le 77 pagine in cui LiteParse ha ottenuto il punteggio medio di preferenza più alto. In 11 pagine di questo sottoinsieme selezionato, il vincitore è cambiato da una valutazione all’altra, benché il prompt registrato, l’immagine della pagina, gli output dei parser e l’ordine di presentazione fossero rimasti invariati, afferma l’azienda. Precisa che il test ha valutato la propria configurazione, non il giudice distribuito di ParseArena.
Per impostazione predefinita, ParseBench-2 attribuisce lo stesso peso alle sue sei dimensioni. Il prototipo Metric Lab consente agli utenti di modificare i pesi delle dimensioni e le penalità per gravità, riclassificare i tipi di errore supportati o escludere il loro contributo al limite massimo. Consente inoltre di esaminare come reagiscono le classifiche, esportare le politiche e ricalcolare i punteggi delle valutazioni salvate.
L’azienda avverte che la concordanza con la propria politica sulla gravità negli scenari di sviluppo non dimostra la concordanza con tutti gli utenti né la capacità di generalizzare a documenti non visti. Secondo l’azienda, è necessaria una verifica indipendente rispetto ai giudizi umani al di fuori di quegli scenari.
Fonti
- Fonte originale · Post del blog LlamaIndex llamaindex.ai
Aziende in questa notizia
Notizie correlate
- LlamaParse integra due modelli OCRia-1.5 per il parsing dei documenti
- Il test TuringSpace individua lacune nell’azione spaziale dei principali modelli di IA
- Artificial Analysis classifica l’attribuzione dei parlanti in un nuovo benchmark
- Illumina dice che il suo modello di IA ha vinto la sfida sulle cellule virtuali di Arc
- Sakana AI crea un gruppo di ricerca sulla sicurezza incentrato sulla difesa dell’IA