Vai al contenuto
AI.info

The Pulse

Il modello OpenTSLM per serie temporali arriva su SageMaker JumpStart

I clienti AWS possono distribuire OpenTSLM-Flamingo su un endpoint di inferenza SageMaker AI nella propria infrastruttura. Il modello combina serie temporali numeriche e contesto testuale; AWS ne descrive un esempio d’uso illustrativo in un flusso di lavoro di supporto IT.

Il modello OpenTSLM per serie temporali arriva su SageMaker JumpStart

OpenTSLM-Flamingo è ora disponibile tramite Amazon SageMaker JumpStart, offrendo ai clienti AWS un modo per distribuire il modello linguistico per serie temporali nel proprio ambiente cloud. Il modello può essere distribuito su un endpoint di inferenza SageMaker AI e utilizzato per combinare misurazioni numeriche con contesto testuale e domande, secondo un post di AWS pubblicato il 17 novembre.

Aionic Labs sta sviluppando OpenTSLM, una famiglia open source di modelli linguistici per serie temporali. I modelli sono progettati per interpretare misurazioni come le letture dei sensori delle apparecchiature o i dati di domanda e offerta, insieme a materiali quali registri di manutenzione, notizie di mercato e osservazioni degli ingegneri.

Come viene distribuito il modello

Il modello di JumpStart combina il modello linguistico Gemma 3 4B con un encoder per serie temporali e livelli di cross-attention che consentono al modello linguistico di prestare attenzione alla serie codificata. Ha 5,24 miliardi di parametri archiviati in bfloat16. AWS afferma che i pesi occupano circa 10,5 GB di memoria GPU.

Un’applicazione invia serie temporali numeriche e contesto testuale all’endpoint SageMaker e riceve una risposta. L’applicazione può presentare tale risposta a un esperto o utilizzarla in un altro flusso di lavoro. Può anche selezionare la finestra di osservazione e i segnali e convalidare la risposta prima di utilizzarla.

Il modello viene eseguito su una singola GPU con almeno 24 GB di memoria e supporto bfloat16; AWS consiglia 32 GB di memoria host. Il tipo di istanza predefinito è ml.g6.2xlarge, con una GPU NVIDIA L4, 24 GB di memoria GPU e 32 GB di memoria host. Gli altri tipi di istanza supportati sono elencati nella guida dettagliata.

La distribuzione tramite SageMaker Studio richiede agli utenti di consultare i Termini di utilizzo di Gemma e accettare il contratto di licenza per l’utente finale. La guida dettagliata alla distribuzione richiede inoltre un account AWS con un dominio SageMaker AI e un ruolo di esecuzione in grado di creare modelli ed endpoint in una regione supportata. Per la produzione, AWS consiglia una policy che conceda solo le autorizzazioni necessarie.

Un esempio di supporto IT

Nexthink e Aionic Labs stanno lavorando a un’assistenza IT proattiva che utilizza Spark, l’agente IT personale di Nexthink, insieme a modelli linguistici per serie temporali. Il loro flusso di lavoro combina misurazioni del dispositivo, tra cui attività della CPU, uso della memoria, spazio su disco, stabilità delle applicazioni e connettività, con eventi corredati di timestamp e informazioni sul dispositivo e sul software.

AWS descrive il modello come uno strumento che fornisce a Spark un riepilogo dello stato, un’azione consigliata e un risultato atteso. Il riepilogo collega il probabile problema e gli schemi dei segnali all’esperienza del dipendente, mentre l’azione consigliata specifica i controlli e un’azione pratica da proporre all’agente.

In uno scenario illustrativo di poco spazio su disco, il modello collega la diminuzione dello spazio libero, l’aumento della coda del disco e i blocchi più frequenti delle applicazioni a possibili sintomi, come un computer lento. Spark controlla lo spazio disponibile e se sia opportuno eseguire una pulizia approvata dall’IT; se i controlli confermano che lo è, Spark chiede al dipendente di dare conferma prima di eseguirla. L’esempio include un controllo successivo e la possibilità di trasmettere i risultati al supporto IT se il problema persiste.

Guida dettagliata al fine-tuning

La guida dettagliata di AWS descrive anche il fine-tuning di un checkpoint OpenTSLM preaddestrato da Hugging Face usando i dati ARFBench caricati tramite TimeNet. TimeNet fornisce un formato e un’API per trovare, creare e caricare dataset utilizzati per addestrare e valutare i modelli.

Il notebook invia un job di addestramento SageMaker che carica i dati ed esegue il fine-tuning del modello. Amazon S3 archivia l’artefatto del modello risultante, che viene distribuito su un endpoint separato di inferenza in tempo reale per la valutazione. L’esempio di fine-tuning usa un’istanza ml.g7e.2xlarge; il notebook stesso non ha bisogno di una GPU.

Fonte

  1. Amazon Web Services

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli