Vai al contenuto
AI.info

The Pulse

AWS aggiunge una classifica dei modelli a SageMaker JumpStart

Una nuova vista di SageMaker Studio confronta almeno 70 modelli in base ai punteggi dei benchmark, alla velocità e al costo stimato dell’istanza. AWS afferma di eseguire i test di qualità con una configurazione di valutazione comune, precisando che i confronti tra modelli di ragionamento e modelli senza capacità di ragionamento hanno dei limiti.

AWS aggiunge una classifica dei modelli a SageMaker JumpStart

Gli utenti di SageMaker Studio possono ora confrontare almeno 70 modelli in base alla qualità, alla velocità e al costo stimato dell’istanza in una nuova classifica, che include modelli di provider come Meta, Google, Qwen, IBM e Arcee. Amazon Web Services afferma di eseguire direttamente i test di qualità utilizzando la stessa configurazione di valutazione per tutti i modelli.

La JumpStart Model Leaderboard è una nuova vista della pagina dei modelli di base di SageMaker JumpStart, accanto alle viste esistenti Categories e All models. Si apre mostrando le classifiche dei modelli linguistici di grandi dimensioni, senza chiedere agli utenti di rispondere a domande sulla configurazione.

Cosa misurano le classifiche

La vista mantiene la barra di ricerca e i filtri esistenti, compresi quelli per licenza, provider e modalità di input e output. Gli utenti possono ordinare le colonne dei benchmark, nascondere le metriche di cui non hanno bisogno e condividere un link diretto alla classifica.

Una mappa di calore blu indica i risultati relativi in ciascuna colonna: una tonalità più intensa segnala un risultato migliore. I nomi dei modelli restano visibili quando gli utenti scorrono orizzontalmente tra le metriche disponibili.

AWS esegue tre benchmark pubblici di ragionamento: BIG-Bench Hard, GPQA Diamond e MMLU-Pro. BIG-Bench Hard verifica attività che richiedono ragionamento in più passaggi, tra cui deduzione logica e aritmetica; GPQA Diamond è composto da domande scientifiche di livello universitario avanzato; MMLU-Pro verifica conoscenze e capacità di ragionamento in materie tra cui scienze, diritto e ingegneria.

La classifica mostra separatamente i risultati di ciascun benchmark, invece di combinarli in un unico punteggio. AWS avverte che i punteggi di benchmark diversi non sono direttamente confrontabili, perché i test hanno livelli di difficoltà differenti.

Velocità, costi e opzioni di deployment

AWS afferma di misurare prestazioni e costi inviando un carico di lavoro standardizzato a un endpoint distribuito con ciascuna configurazione di JumpStart. Le colonne delle prestazioni includono il tempo al primo token, il throughput per richiesta in token al secondo e il costo orario stimato dell’istanza.

Il costo stimato copre solo il costo dell’istanza SageMaker, calcolato sulla tariffa oraria on-demand del tipo di istanza predefinito per la configurazione. Esclude il trasferimento dei dati, lo storage, i costi dei componenti di inferenza e gli sconti, come Reserved Instances o AWS Savings Plans; le fatture effettive varieranno.

Due menu determinano quali dati relativi a prestazioni e costi vengono mostrati. Il profilo del caso d’uso è impostato su Max Context per impostazione predefinita e modifica quei dati, ma non i punteggi di qualità. L’obiettivo di ottimizzazione è impostato su Balanced per impostazione predefinita e seleziona una configurazione di deployment per il profilo scelto.

L’obiettivo Balanced seleziona la configurazione con il costo stimato per token più basso. Cost optimized seleziona il prezzo orario dell’istanza più basso, mentre Latency optimized seleziona il tempo al primo token più basso. Throughput optimized seleziona la configurazione con il throughput più alto, che può utilizzare la decodifica speculativa.

Limiti del confronto

I modelli di ragionamento e quelli senza capacità di ragionamento sono valutati con parametri di generazione diversi, quindi i confronti tra le due tipologie sono approssimativi. I punteggi GPQA Diamond dei modelli di ragionamento sono calcolati come media su 10 passaggi.

AWS consiglia di utilizzare la classifica per creare una rosa di candidati e di valutare i principali modelli sui dati e sui prompt specifici dell’applicazione prima di metterla in produzione. Osserva inoltre che ciascuna metrica si riferisce alla configurazione sulla quale è stata misurata; una configurazione di deployment diversa può modificare qualità, latenza, throughput e costi.

Un utente può aprire un modello dalla classifica per distribuirlo oppure, se supporta la personalizzazione serverless, personalizzarlo. Per seguire questa procedura sono necessari l’accesso a SageMaker Studio e l’autorizzazione a distribuire modelli JumpStart.

Fonte

  1. Amazon Web Services

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli