The Pulse
CluSTER di KAIST: riduzione dei tempi del 69,6% nel preprint, del 64,6% nell’articolo pubblicato a EMNLP
KAIST afferma che il suo metodo CluSTER ha ridotto i tempi di fine-tuning fino al 69,6% nei test condotti con un dataset ridotto, mentre l’articolo pubblicato a EMNLP 2026 riporta una riduzione del 64,6%. Il metodo raggruppa gli esempi di a
AI.info Team · Scritto con l’IA · verificato ·
I ricercatori di KAIST affermano che il fine-tuning può richiedere meno tempo non aggiungendo GPU, ma scegliendo e distribuendo in modo diverso i dati di addestramento. Nell’annuncio del 2 novembre 2026, l’università ha riferito che il suo metodo CluSTER ha ridotto i tempi di addestramento fino al 69,6% nei test, mentre i modelli addestrati su circa il 31% del dataset completo hanno mantenuto prestazioni quasi equivalenti. Il dato del 69,6% compare anche nel preprint su arXiv; l’articolo pubblicato a EMNLP 2026 riporta che CluSTER riduce i tempi di addestramento del 64,6%.
Il lavoro affronta un compromesso nell’adattamento dei grandi modelli linguistici: gli sviluppatori hanno bisogno di esempi per insegnare a un modello un compito specializzato, ma elaborare esempi con effetti simili sull’apprendimento può consumare tempo di calcolo aggiungendo poco a ciò che il modello apprende. CluSTER mira a ridurre queste ripetizioni e a distribuire esempi diversi tra le GPU.
CluSTER raggruppa gli esempi in base all’effetto sull’apprendimento
Invece di raggruppare gli esempi di addestramento solo per argomento o formulazione, CluSTER li raggruppa in base a come influiscono sull’apprendimento del modello. L’esempio di KAIST è quello di due problemi aritmetici con oggetti diversi — mele e matite — che insegnano la stessa capacità di eseguire addizioni. Il metodo seleziona esempi da questi gruppi e li assegna alle GPU, in modo che i dispositivi elaborino una gamma variegata di informazioni per l’apprendimento.
L’articolo pubblicato descrive il metodo come un clustering nello spazio dei gradienti e un’allocazione bilanciata che tiene conto del parallelismo dei dati. Secondo l’articolo, l’allocazione punta a garantire la copertura sia dei cluster sia delle GPU che eseguono il lavoro, mentre gli aggiornamenti ponderati in base ai cluster preservano la distribuzione originale dei dati. La descrizione della ponderazione proviene dall’articolo, non dal comunicato di KAIST.
Gli autori dell’articolo — Hyunjin Kim, Youngeun Nam, Jaemin Han, Wonhyeok Choi e Jae-Gil Lee — scrivono:
«Proponiamo CluSTER, un framework di campionamento bilanciato che tiene conto dei cluster per ridurre i dati in modo efficiente durante l’addestramento nell’instruction tuning con parallelismo dei dati».
I test hanno riguardato compiti di programmazione e in ambito medico
Il team ha effettuato il fine-tuning di modelli con circa 7 miliardi e 13 miliardi di parametri, utilizzando tre dataset di addestramento provenienti dai campi della programmazione e della medicina. KAIST afferma che i ricercatori hanno valutato il metodo con otto benchmark di prestazioni. Secondo il resoconto dell’università, i modelli addestrati su circa il 31% del dataset completo hanno mantenuto prestazioni quasi equivalenti, mentre i tempi di addestramento si sono ridotti fino al 69,6%.
Il dato dipende dalla versione presa in esame. L’annuncio di KAIST e il preprint su arXiv riportano una riduzione fino al 69,6%; l’articolo pubblicato negli atti di EMNLP 2026 riporta il 64,6% su diversi dataset per l’instruction tuning. Le cifre non vanno considerate intercambiabili. KAIST traduce la riduzione massima riportata in un confronto: un addestramento che richiede 10 ore potrebbe concludersi in circa 3. I ricercatori hanno condotto i test principalmente con quattro GPU e hanno riportato prestazioni migliori rispetto ai metodi convenzionali anche in un ambiente con otto GPU.
Queste cifre descrivono i test dei ricercatori, non sono una garanzia per altri modelli, dataset o hardware. KAIST afferma che il metodo potrebbe aiutare le organizzazioni ad adattare i modelli a compiti come l’assistenza alla programmazione, il servizio clienti e la ricerca di informazioni mediche, riducendo i tempi e i costi delle GPU necessari per l’addestramento aggiuntivo.
«Per migliorare l’efficienza dell’addestramento dell’IA, è importante non solo usare più GPU, ma anche selezionare in modo intelligente i dati da utilizzare per l’apprendimento»,
— Jae-Gil Lee, professore della School of Computing di KAIST
I risultati della ricerca sono stati presentati a EMNLP 2026 in ottobre. L’articolo, «Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning», è stato pubblicato negli atti della conferenza.