The Pulse
LlamaIndex schlägt eine Bewertung nach Schweregrad für das Dokumenten-Parsing vor
LlamaIndex zufolge bewertet sein Benchmark ParseBench-2 Fehler beim Dokumenten-Parsing nach ihrem Schweregrad. Das Unternehmen beschreibt einen Test mit 4.317 Fällen auf Seitenebene und weist darauf hin, dass die Übereinstimmung mit seiner Bewertungsrichtlinie keine Übereinstimmung mit allen Nutzern belegt.

Fehlerhafte Finanzwerte sollten bei der Bewertung des Dokumenten-Parsings stärker ins Gewicht fallen als harmlose Änderungen der Tabellenformatierung – so sieht es ein von LlamaIndex beschriebenes Benchmark-Design vor. In einem Beitrag vom 19. November erläuterte das Unternehmen, wie ParseBench-2 Fehlern einen Schweregrad zuweist und prüft, ob die Bewertungsregeln entsprechend greifen.
Der Benchmark umfasst 4.317 Fälle auf Seitenebene in sechs Dimensionen: Text, Formatierung, Tabellen, Diagramme, Formulare und visuelle Verankerung. Für alle 1.025 Diagramme ersetzen vollständige Referenztabellen die Prüfungen ausgewählter Werte. So lässt sich jede Datenreihe bewerten.
Warum der Schweregrad wichtig ist
Dokumenten-Parser wandeln Inhalte wie Finanzberichte, Versicherungsunterlagen und Formulare in maschinenlesbare Ausgaben um. Ein Benchmark kann prüfen, ob ein Parser Text korrekt überträgt, die Lesereihenfolge beibehält, Tabellenwerte den richtigen Überschriften zuordnet und Formularfelder sowie deren Werte erkennt.
Ein Beispiel im Beitrag zeigt eine Schwäche des früheren ParseBench-1: Eine Ausgabe, in der ein Finanzwert abgeschnitten war, erzielte 99,2 Punkte, während eine sachlich korrekte Ausgabe mit anderer Tabellenformatierung auf 43,6 Punkte kam. Auch eine separate Kennzahl für den Tabellenvergleich, TEDS, bewertete die verfälschte Ausgabe höher, so das Unternehmen.
Ähnlichkeitsmaße können die Auswirkungen eines schwerwiegenden Fehlers auf einen größeren Umfang korrekter Inhalte verteilen, während strukturelle Vergleiche gleichwertige Darstellungen benachteiligen können. Laut LlamaIndex hängt die Bedeutung der Formatierung von der Anwendung ab: Explizite Tabellensemantik kann für Software wichtig sein, die die Formatierung verarbeitet, während bei der Extraktion von Finanzdaten Werte und ihre Zuordnungen stärker gewichtet werden können.
Die Bewertungsregeln testen
ParseBench-2 ordnet Fehler und harmlose Abweichungen den Kategorien kritisch, schwerwiegend, geringfügig oder unbedenklich zu. Für jede Kategorie gibt es Zielbereiche dafür, wie stark sie den Punktestand verändern sollte. Die sechs Testsuiten enthalten 330 Arten kontrollierter Änderungen an ansonsten korrekten Ausgaben.
Die Forschenden messen anschließend die Abweichungen von den Zielwerten und setzen Coding-Agenten ein, um Vergleichsregeln, Fehlererkennung und Gewichtungen unter menschlicher Aufsicht zu überarbeiten. Menschen legen das beabsichtigte Verhalten fest und klären Unklarheiten; Regressionstests geben Änderungen am Scorer vor. Bei festgelegten Eingaben und Versionen ist der resultierende Scorer deterministisch.
In fünf Dimensionen erhält eine Seite den niedrigeren Wert aus ihrem Score für die Wiedergewinnung von Inhalten und einer Schweregrad-Obergrenze. Nach der Standardrichtlinie begrenzt der erste erkannte kritische Fehler den Punktestand einer ansonsten perfekten Seite auf 90. Für die visuelle Verankerung gelten separate Regeln ohne diese Obergrenze.
Bewertungsinstanzen und Anpassungsmöglichkeiten
Das Unternehmen testete außerdem ein Sprachmodell als Bewertungsinstanz, Haiku 5.5, anhand von 412 Seiten aus SERFF-Versicherungseinreichungen. Dabei verglich es die Klartextausgabe von LiteParse mit r-1-mini. Jede Seite wurde dreimal bewertet, wobei die Reihenfolge der Präsentation variierte.
Das Team untersuchte die 77 Seiten, bei denen LiteParse den höheren durchschnittlichen Präferenzwert erhielt. Auf 11 Seiten dieser ausgewählten Teilmenge wechselte der Sieger zwischen den Bewertungen, obwohl der protokollierte Prompt, das Seitenbild, die Parser-Ausgaben und die Präsentationsreihenfolge unverändert waren, so das Unternehmen. Es stellt klar, dass der Test das eigene Setup bewertete, nicht den von ParseArena eingesetzten Bewerter.
Standardmäßig gewichtet ParseBench-2 seine sechs Dimensionen gleich. Mit dem Prototyp Metric Lab können Nutzer die Gewichtung der Dimensionen und die Schweregrad-Abzüge ändern, unterstützte Fehlertypen neu klassifizieren oder ihren Einfluss auf die Obergrenze aufheben. Außerdem können sie nachvollziehen, wie sich Ranglisten verändern, Richtlinien exportieren und gespeicherte Bewertungen neu berechnen.
Das Unternehmen weist darauf hin, dass die Übereinstimmung mit seiner Schweregrad-Richtlinie in Entwicklungsszenarien weder die Übereinstimmung mit allen Nutzern noch die Übertragbarkeit auf bislang ungesehene Dokumente belegt. Eine unabhängige Überprüfung anhand menschlicher Bewertungen außerhalb dieser Szenarien sei erforderlich, so das Unternehmen.
Quellen
- Originalquelle · Blogbeitrag LlamaIndex llamaindex.ai
Unternehmen in dieser Meldung
Verwandte Meldungen
- TuringSpace-Test findet Lücken beim räumlichen Handeln führender KI-Modelle
- Illumina zufolge gewinnt sein KI-Modell Arc’ Wettbewerb für virtuelle Zellen
- Sakana AI gründet Sicherheitsforschungsgruppe mit Schwerpunkt auf KI-gestützter Cyberabwehr
- Forschende rekonstruieren mit ToolPulse Arbeitsabläufe von KI-Agenten anhand von Cache-Spuren
- Vals AI startet öffentlichen Tracker für nicht ausgerichtetes Modellverhalten