Ir para o conteúdo
AI.info

The Pulse

LlamaIndex propõe pontuação baseada na gravidade para análise de documentos

A LlamaIndex afirma que seu benchmark ParseBench-2 pontua erros de análise de documentos de acordo com sua gravidade. A empresa descreve um teste que abrange 4.317 casos no nível da página e alerta que a concordância com sua política de pontuação não implica concordância com todos os usuários.

LlamaIndex propõe pontuação baseada na gravidade para análise de documentos

As pontuações da análise de documentos devem penalizar mais severamente um valor financeiro incorreto do que uma alteração inofensiva na formatação de uma tabela, segundo o desenho de um benchmark descrito pela LlamaIndex. Em uma publicação de 19 de novembro, a empresa explicou como o ParseBench-2 atribui níveis de gravidade aos erros e testa se suas regras de pontuação respondem de acordo.

O benchmark abrange 4.317 casos no nível da página em seis dimensões: texto, formatação, tabelas, gráficos, formulários e ancoragem visual. Tabelas de referência completas substituem as verificações de valores selecionados para todos os 1.025 gráficos, permitindo a avaliação de cada série de dados.

Por que a gravidade importa

Analisadores de documentos transformam materiais como demonstrações financeiras, documentos de seguros e formulários em saídas legíveis por máquina. Um benchmark pode testar se um analisador transcreve o texto, preserva a ordem de leitura, associa os valores das tabelas aos cabeçalhos corretos e identifica campos de formulário e seus valores.

Um exemplo na publicação ilustra uma deficiência do ParseBench-1, sua versão anterior: uma saída que truncou um valor financeiro recebeu 99,2, enquanto uma saída factualmente correta, mas com marcação de tabela diferente, recebeu 43,6. Uma métrica separada de comparação de tabelas, TEDS, também classificou a saída corrompida em posição superior, segundo a empresa.

Medidas de similaridade podem diluir o efeito de um erro grave em um conjunto maior de conteúdo correto, enquanto comparações estruturais podem penalizar representações equivalentes. A LlamaIndex afirma que a importância da marcação depende da aplicação: a semântica explícita da tabela pode importar para o software que consome a marcação, enquanto a extração financeira pode atribuir mais peso aos valores e às associações entre eles.

Testando as regras de pontuação

O ParseBench-2 classifica erros e variações inofensivas nas categorias crítica, grave, leve ou benigna, com faixas-alvo para a intensidade com que cada uma deve alterar uma pontuação. Suas seis suítes de teste contêm 330 tipos de alterações controladas em saídas que, de resto, estão corretas.

Em seguida, os pesquisadores medem os desvios em relação às metas e usam agentes de programação para revisar regras de comparação, detectores de erros e pesos, sob supervisão humana. Os humanos especificam o comportamento pretendido e resolvem ambiguidades, enquanto testes de regressão orientam as alterações no sistema de pontuação. Com entradas e versões fixas, o sistema de pontuação resultante é determinístico.

Em cinco dimensões, uma página recebe a menor pontuação entre a de recuperação de conteúdo e um limite determinado pela gravidade. Na política padrão, o primeiro erro crítico detectado limita a pontuação de uma página que, de outro modo, seria perfeita a 90. A ancoragem visual usa regras separadas, sem esse limite.

Avaliadores e personalização

A empresa também testou um avaliador baseado em modelo de linguagem, Haiku 5.5, em 412 páginas de documentos de seguros apresentados pelo SERFF, comparando a saída em texto simples do LiteParse com a do r-1-mini. Cada página recebeu três avaliações, com a ordem de apresentação variada.

A equipe examinou as 77 páginas nas quais o LiteParse recebeu a maior pontuação média de preferência. Em 11 páginas desse subconjunto selecionado, o vencedor mudou entre as avaliações, embora o prompt registrado, a imagem da página, as saídas dos analisadores e a ordem de apresentação não tenham sido alterados, afirma a empresa. Ela especifica que o teste avaliou sua própria configuração, não o avaliador implantado pelo ParseArena.

Por padrão, o ParseBench-2 atribui o mesmo peso às suas seis dimensões. O protótipo Metric Lab permite que os usuários alterem os pesos das dimensões e as penalidades por gravidade, reclassifiquem tipos de erro contemplados ou removam sua contribuição para o limite. Também permite que os usuários inspecionem como as classificações respondem, exportem políticas e pontuem novamente avaliações salvas.

A empresa alerta que a concordância com sua política de gravidade em cenários de desenvolvimento não demonstra concordância com todos os usuários nem generalização para documentos não vistos. É necessária uma verificação independente em relação a julgamentos humanos além desses cenários, afirma.

Fontes

  1. Fonte original · Post de blog LlamaIndex llamaindex.ai

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos