Vai al contenuto
AI.info

The Pulse

AWS riporta i risultati del fine-tuning completo serverless su SageMaker

AWS riporta un punteggio di correttezza semantica del 90,0% per il fine-tuning completo in un esperimento di generazione del codice, mentre i dati di addestramento aumentavano fino a superare i 100.000 esempi. Da agosto, SageMaker AI supporta questa tecnica per oltre 25 modelli open source.

AWS riporta i risultati del fine-tuning completo serverless su SageMaker

Il fine-tuning completo ha raggiunto una correttezza semantica del 90,0% nei compiti di generazione del codice, mentre i dati di addestramento aumentavano fino a superare i 100.000 esempi, secondo un esperimento di Amazon Web Services che ha utilizzato la personalizzazione serverless dei modelli di SageMaker AI. L’azienda ha pubblicato il risultato il 18 novembre, insieme a un confronto con un metodo che aggiorna un numero inferiore di parametri del modello.

La funzionalità era stata annunciata per la prima volta il 3 agosto, non è stata introdotta con il nuovo esperimento. All’epoca, AWS aveva dichiarato che il fine-tuning completo serverless supportava oltre 25 modelli open source, compresi modelli delle famiglie gpt-oss, Gemma, Llama, Nemotron e Qwen.

Due modi per personalizzare un modello

Il fine-tuning completo aggiorna tutti i parametri del modello, mentre l’adattamento a basso rango, o LoRA, congela i pesi preaddestrati e aggiunge matrici più piccole ai livelli del modello. Entrambi i metodi possono essere utilizzati per adattare un modello preaddestrato usando i dati di un’organizzazione.

Nella personalizzazione serverless, gli utenti specificano il modello di base, i dataset e gli iperparametri, mentre il servizio gestisce l’allocazione delle risorse di calcolo e la gestione dei checkpoint. Nell’annuncio di agosto si affermava che i clienti pagano solo per ciò che utilizzano.

L’esperimento di programmazione

Il post di novembre descrive esperimenti di fine-tuning supervisionato sul modello di base Qwen3-4B, utilizzando sia il fine-tuning completo sia LoRA. In ogni esperimento, entrambi i metodi di addestramento hanno ricevuto gli stessi prompt, target e codice di valutazione.

Gli esperimenti hanno utilizzato Magicoder-Evol-Instruct-110K, un dataset di 110.000 coppie di istruzioni e risposte di programmazione, che coprono progettazione di algoritmi, debugging, strutture dati e programmazione di sistema. AWS ha suddiviso il dataset in 99.000 record di addestramento, 5.500 record di validazione e un set di test tenuto da parte di 5.500 record.

La valutazione della correttezza semantica ha utilizzato Amazon Nova Pro come valutatore automatizzato: ha esaminato il codice generato insieme al prompt originale e ha stabilito se la soluzione fosse logicamente corretta. Il risultato riportato del 90,0% si riferisce a questa misura valutata dal modello nei compiti di generazione del codice, non a un punteggio generale di accuratezza per tutti gli usi.

Altri controlli e configurazione dei job

Il team ha valutato il codice generato anche con PRIMECODE, un sistema di valutazione personalizzato che confronta l’output con soluzioni di riferimento utilizzando misure di similarità testuale, tra cui BLEU, ROUGE e F1. Ha utilizzato il benchmark MMLU, che copre 57 materie accademiche, per verificare il mantenimento delle conoscenze generali prima e dopo il fine-tuning specifico per dominio.

Secondo AWS, nel confronto rappresentato dal grafico radar il fine-tuning completo ha superato LoRA su ogni dimensione. In un altro passaggio del post, l’azienda afferma che il fine-tuning completo «non è universalmente superiore a LoRA» e riporta un risultato in cui LoRA è leggermente avanti nella metrica valutata dal modello: 81,5% contro 79,5%. Il post descrive decine di esperimenti di personalizzazione su più modelli di base supportati, con variazioni di impostazioni quali tasso di apprendimento, dimensione del batch, rapporto di warmup, numero di epoche e dimensione del dataset.

Secondo l’azienda, ogni esperimento, dall’invio di un job all’ottenimento dei risultati della valutazione, ha richiesto alcune ore. I modelli ottenuti sono stati registrati come pacchetti versionati nel SageMaker Model Registry, per la revisione o la distribuzione.

Usare il servizio

Un job di esempio del SageMaker Python SDK nel post seleziona l’addestramento completo, fornisce i dataset di addestramento e di validazione, imposta gli iperparametri e avvia il job. Per passare a LoRA nell’esempio basta cambiare il tipo di addestramento, mentre il resto del codice illustrato rimane invariato.

Al momento dell’annuncio di agosto, il fine-tuning completo serverless era disponibile in US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) ed Europe (Ireland). I clienti possono avviare un job di personalizzazione dalla pagina JumpStart and Models in SageMaker Studio oppure utilizzare il Python SDK.

Fonti

  1. Amazon Web Services
  2. Amazon Web Services

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli