Vai al contenuto
AI.info

The Pulse

I ricercatori di Sakana AI pubblicano in preprint un benchmark di finanza giapponese

JFinBench usa 321 esempi tratti da sei esami giapponesi di certificazione finanziaria per valutare i modelli linguistici. I ricercatori hanno rilevato un divario tra i modelli proprietari con i punteggi più alti e quelli a pesi aperti, anche quando i modelli avevano accesso a strumenti.

I ricercatori di Sakana AI pubblicano in preprint un benchmark di finanza giapponese

JFinBench valuta i modelli linguistici su 321 esempi tratti da sei esami giapponesi di certificazione finanziaria, che coprono contabilità, fiscalità, pianificazione finanziaria e attività bancaria. Il benchmark, descritto in un preprint del 13 novembre dai ricercatori di Sakana AI e dell’Institute of Science Tokyo, include una procedura per convertire le nuove edizioni degli esami in materiale di valutazione.

I ricercatori riferiscono che i modelli proprietari Claude Fable 5 e GPT-6 Astra hanno ottenuto un punteggio complessivo superiore al 93%, mentre Kimi K3.1 Pro, il modello a pesi aperti più forte tra quelli testati, è rimasto indietro rispetto al modello con il punteggio più alto senza accesso agli strumenti. Dare ai modelli accesso al terminale e al web ha ridotto il divario, ma non lo ha eliminato.

Gli esami come materiale di test

Gli esami si sono svolti tra maggio e agosto 2026 e comprendono l’esame CPA a risposta breve, l’esame per Certified Public Tax Accountant, test di pianificazione finanziaria e di servizi finanziari allo sportello, nonché esami di contabilità. Oltre alle domande a scelta multipla, JFinBench include risposte calcolate, schede di risposta, saggi e 12 domande che dipendono da immagini.

I ricercatori sostengono che siano necessari benchmark specifici per paese, perché le competenze finanziarie dipendono da regole e pratiche locali. Notano inoltre che le domande degli esami più vecchi possono riflettere regole non più in vigore e che le domande pubblicate possono entrare nei dati di addestramento, facendo sì che i punteggi possano riflettere la memorizzazione.

Per la valutazione, il gruppo usa metodi diversi a seconda del formato della risposta. Un giudice basato su un modello linguistico verifica l’equivalenza delle risposte brevi, assegna punteggi parziali alle schede di risposta e valuta se i saggi trattano i punti chiave.

I punteggi dei modelli

I ricercatori hanno valutato 12 modelli linguistici recenti. Nei test senza strumenti, Claude Fable 5 ha ottenuto il 95,8%, GPT-6 Astra il 93,6% e Kimi K3.1 Pro l’83,4%, secondo i risultati. I punteggi sono medie di tre esecuzioni, con i risultati dei sei esami ponderati in modo uguale nel punteggio complessivo.

Con accesso al terminale e al web, GPT-6 Astra ha ottenuto il 97,3% e Kimi K3.1 Pro il 92,9%, mostrano i risultati. In ogni attività con strumenti, a un agente vengono forniti una shell, l’accesso a Internet e sei ore; i risultati riportati usano il punteggio migliore ottenuto da ciascun modello tra gli ambienti per agenti disponibili.

Secondo i ricercatori, con gli strumenti il divario tra i migliori modelli proprietari e quelli a pesi aperti si è ridotto da 12,4 a 4,4 punti, mentre la classifica è cambiata poco. Dalla loro analisi degli errori è emerso che la mancanza di conoscenze era all’origine della maggior parte degli errori, mentre gli errori di calcolo erano rari.

Creazione e accesso al benchmark

La procedura di creazione inizia con la trascrizione dei PDF degli esami in un formato che ne conserva l’impaginazione. Un agente di codifica scrive quindi codice di conversione specifico per ciascun esame e una persona verifica ogni esempio ottenuto confrontandolo con la fonte, poi invia le correzioni all’agente.

Il codice di valutazione e la pipeline di creazione si trovano nel repository GitHub di Sakana AI. Il repository afferma che 264 dei 321 esempi sono ospitati su Hugging Face secondo le condizioni dei rispettivi editori; l’accesso è subordinato all’accettazione di tali condizioni e all’accesso con un account.

Gli esempi rimanenti devono essere assemblati dai PDF degli editori usando la procedura di ricostruzione del repository. Le domande d’esame, le chiavi di risposta e le immagini restano di proprietà dei rispettivi editori, e il repository chiede agli utenti di non ridistribuire il dataset o le attività generate.

Fonti

Notizie correlate

Esplora

Altri articoli