The Pulse
LlamaIndex propone una puntuación basada en la gravedad para el análisis de documentos
LlamaIndex afirma que su benchmark ParseBench-2 puntúa los errores de análisis de documentos según su gravedad. La empresa describe una prueba que abarca 4.317 casos por página y advierte que estar de acuerdo con su política de puntuación no implica estar de acuerdo con todos los usuarios.

Según el diseño de benchmark descrito por LlamaIndex, las puntuaciones del análisis de documentos deberían penalizar más un valor financiero incorrecto que un cambio inocuo en el formato de una tabla. En una publicación del 19 de noviembre, la empresa explicó cómo ParseBench-2 asigna niveles de gravedad a los errores y comprueba si sus reglas de puntuación responden en consecuencia.
El benchmark abarca 4.317 casos por página en seis dimensiones: texto, formato, tablas, gráficos, formularios y fundamentación visual. Las tablas de referencia completas sustituyen las comprobaciones de valores seleccionados en los 1.025 gráficos, lo que permite evaluar cada serie de datos.
Por qué importa la gravedad
Los analizadores de documentos convierten materiales como estados financieros, documentos presentados por aseguradoras y formularios en resultados legibles por máquina. Un benchmark puede comprobar si un analizador transcribe el texto, conserva el orden de lectura, asocia los valores de las tablas con los encabezados correctos e identifica los campos de los formularios y sus valores.
Un ejemplo de la publicación ilustra una debilidad de la versión anterior, ParseBench-1: un resultado que truncaba un valor financiero obtuvo 99,2, mientras que otro, factualmente correcto pero con un marcado de tabla distinto, obtuvo 43,6. Según la empresa, una métrica independiente de comparación de tablas, TEDS, también clasificó mejor el resultado con datos dañados.
Las medidas de similitud pueden extender el efecto de un error grave a un conjunto más amplio de contenido correcto, mientras que las comparaciones estructurales pueden penalizar representaciones equivalentes. LlamaIndex afirma que la importancia del marcado depende de la aplicación: una semántica de tabla explícita puede ser importante para el software que consume ese marcado, mientras que la extracción financiera puede dar más peso a los valores y sus asociaciones.
Cómo se ponen a prueba las reglas de puntuación
ParseBench-2 clasifica los errores y las variaciones inocuas como críticos, importantes, menores o benignos, y establece intervalos objetivo para cuánto debería cambiar cada uno la puntuación. Sus seis conjuntos de pruebas contienen 330 tipos de cambios controlados en resultados que, por lo demás, son correctos.
A continuación, los investigadores miden las desviaciones respecto de los objetivos y usan agentes de programación para revisar las reglas de comparación, los detectores de errores y las ponderaciones, bajo supervisión humana. Las personas especifican el comportamiento previsto y resuelven las ambigüedades, mientras que las comprobaciones de regresión guían los cambios en el sistema de puntuación. Con entradas y versiones fijas, el sistema de puntuación resultante es determinista.
En cinco dimensiones, una página recibe la menor de estas dos puntuaciones: la de recuperación de contenido y el límite por gravedad. Según la política predeterminada, el primer error crítico detectado limita a 90 la puntuación de una página que, de otro modo, sería perfecta. La fundamentación visual usa reglas aparte y no está sujeta a ese límite.
Evaluadores y personalización
La empresa también probó un evaluador basado en un modelo de lenguaje, Haiku 5.5, con 412 páginas de documentos de seguros presentados ante SERFF, comparando el resultado de texto sin formato de LiteParse con r-1-mini. Cada página recibió tres evaluaciones y el orden de presentación varió.
El equipo examinó las 77 páginas en las que LiteParse obtuvo una puntuación media de preferencia más alta. En 11 páginas de ese subconjunto seleccionado, el resultado ganador se invirtió entre evaluaciones, aunque el prompt registrado, la imagen de la página, los resultados de los analizadores y el orden de presentación no habían cambiado, afirma la empresa. Especifica que la prueba evaluó su propia configuración, no el evaluador implementado por ParseArena.
De forma predeterminada, ParseBench-2 asigna el mismo peso a sus seis dimensiones. El prototipo Metric Lab permite a los usuarios modificar las ponderaciones de las dimensiones y las penalizaciones por gravedad, reclasificar los tipos de error admitidos o eliminar su contribución al límite. También permite examinar cómo responden las clasificaciones, exportar políticas y volver a puntuar evaluaciones guardadas.
La empresa advierte que estar de acuerdo con su política de gravedad en escenarios de desarrollo no implica estar de acuerdo con todos los usuarios ni que los resultados puedan generalizarse a documentos no vistos. Según la empresa, hace falta una comprobación independiente frente a juicios humanos que vaya más allá de esos escenarios.
Fuentes
- Fuente original · Entrada de blog LlamaIndex llamaindex.ai
Empresas en esta noticia
Noticias relacionadas
- La prueba TuringSpace detecta carencias en la capacidad de acción espacial de los principales modelos de IA
- Sakana AI crea un grupo de investigación en seguridad centrado en la defensa de la IA
- Investigadores de ToolPulse reconstruyen flujos de trabajo de agentes de IA mediante trazas de caché
- Vals AI lanza un registro público de comportamientos desalineados de modelos
- China Telecom detalla el entrenamiento de Xing 4 con 8.192 chips Ascend