LTEM: LLM-Friendly Table-Enhanced Markdown per la comprensione e la generazione di tabelle

Abstract degli autori

Le tabelle nei documenti reali, tra cui articoli scientifici, relazioni finanziarie e sintesi statistiche, usano spesso celle unite, intestazioni su più livelli e impaginazioni suddivise in sezioni. I formati leggeri che gli LLM gestiscono meglio (Markdown, CSV) non possono però rappresentare queste strutture, mentre i formati più espressivi (HTML, LaTeX) comportano un costo eccessivo in token e una maggiore complessità di parsing. Per analizzare sistematicamente questo compromesso, introduciamo una tassonomia che scompone la struttura delle tabelle in sei caratteristiche atomiche (F1-F6) e nei corrispondenti livelli di complessità (L1-L6), e realizziamo STB (Synthetic Table Benchmark), un benchmark controllato con 1.089 tabelle distribuite sistematicamente tra i livelli di complessità. Su questa base proponiamo LTEM (LLM-friendly Table-Enhanced Markdown), un’estensione minima di Markdown, definita formalmente, che codifica esplicitamente le celle estese e le intestazioni gerarchiche. Esperimenti condotti su cinque LLM all’avanguardia mostrano che LTEM raggiunge un’accuratezza paragonabile a quella di HTML, offre un compromesso favorevole tra accuratezza e numero di token rispetto a HTML e LaTeX e produce molte meno risposte non valide rispetto a LaTeX; nella generazione di tabelle, LTEM è paragonabile a MultiMarkdown, anche se HTML ottiene i risultati migliori. Rendiamo disponibili la tassonomia, il benchmark e la specifica del formato per sostenere la ricerca futura sull’interazione tra LLM e tabelle.