Vai al contenuto
AI.info

The Pulse

AWS aggiunge strumenti di preparazione dei dati per l’IA a SageMaker AI

Gli utenti di SageMaker AI possono generare dati sintetici, etichettare record e controllare i dataset per l’addestramento e la valutazione dei modelli. Le funzionalità sono generalmente disponibili in due regioni AWS e possono essere utilizzate tramite l’SDK Python o un agente di programmazione.

AWS aggiunge strumenti di preparazione dei dati per l’IA a SageMaker AI

Gli utenti di SageMaker AI possono ora generare esempi sintetici, etichettare record e valutare dataset per l’addestramento e la valutazione dei modelli grazie a nuovi strumenti di preparazione dei dati. Amazon Web Services ha dichiarato che le funzionalità possono essere utilizzate tramite API Python o un agente di programmazione, con specifiche e codice che gli utenti possono esaminare e modificare.

Le funzionalità sono generalmente disponibili nelle regioni AWS US East (N. Virginia) e US West (Oregon). Possono essere utilizzate separatamente o combinate in un flusso di lavoro, dalla preparazione dei dati grezzi fino all’addestramento di un modello.

Etichette e revisione umana

Lo strumento di etichettatura automatica può lavorare su un dataset senza etichette, su un piccolo insieme iniziale di dati etichettati o senza etichette. Le attività integrate comprendono classificazione, riconoscimento di entità denominate, risposta estrattiva a domande, valutazione ordinale e sintesi; gli utenti possono anche definire attività personalizzate. Prima di etichettare l’intero dataset, la specifica di etichettatura viene verificata rispetto agli esempi dell’utente.

Per le attività con un insieme fisso di possibili risposte, tra cui la classificazione, più modelli etichettano ogni riga e il loro grado di accordo determina un punteggio di affidabilità. I record al di sotto di una soglia selezionata dall’utente vengono inseriti in una coda di revisione in Amazon SageMaker Studio.

L’app di revisione utilizza l’edizione Community open source di Label Studio e gli esperti esterni in materia possono accedervi tramite un link in Studio. Le correzioni dei revisori alimentano nuovamente l’etichettatura automatica, mentre gli utenti possono generare metriche di consenso e report di etichettatura.

Generazione e controlli di qualità

La generazione di dati sintetici produce dati di addestramento, valutazione e test a partire da una specifica. Gli utenti possono basare l’output sui propri dati iniziali e documenti, quindi esaminare, modificare e riutilizzare il codice della pipeline generato.

La valutazione della qualità verifica i dati rispetto a regole aziendali, metriche integrate e metriche che utilizzano un modello linguistico di grandi dimensioni come giudice. Può individuare duplicati e quasi duplicati e far emergere problemi come il rumore nelle etichette o la fuga di risposte.

Una funzionalità distinta di trasformazione può ripulire e riorganizzare i dati utilizzando codice generato, operazioni integrate come l’unione, la suddivisione e il filtraggio, oppure il codice Python dell’utente. AWS descrive un flusso di lavoro in cui gli esempi generati vengono trasformati per una tecnica di addestramento, controllati per individuare problemi di qualità e poi utilizzati con la personalizzazione dei modelli di SageMaker AI.

Esecuzione dei processi

Gli utenti possono richiamare singole funzionalità tramite l’SDK Python di SageMaker oppure lavorare con un assistente di programmazione che utilizza la skill AWS AI-ML. L’assistente può aiutare a redigere le specifiche e coordinare i passaggi in SageMaker Studio JupyterLab, Kiro o in un ambiente di sviluppo locale.

I processi che producono dati li registrano come dataset nell’account dell’utente, pronti per il passaggio successivo o per l’addestramento dei modelli. Secondo la documentazione di AWS, prima di eseguire un processo o creare risorse l’assistente chiede l’approvazione.

Gli strumenti richiedono la versione 3.30.0 o successive dell’SDK Python di SageMaker, che a sua volta richiede Python 3.10 o successive. I processi necessitano inoltre di un ruolo di esecuzione e di un bucket Amazon S3 predefinito in una regione supportata. I dati di origine, i dataset generati e le etichette rimangono nei bucket S3 dell’utente nella regione AWS scelta.

Fonti

  1. Amazon Web Services
  2. Amazon Web Services
  3. Amazon Web Services

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli