The Pulse

Skild AI insegna ai robot nuovi compiti con un solo video insieme a NVIDIA

Il modello di base S1 di Skild AI per la robotica può imparare compiti nuovi e articolati in più passaggi da un solo video, senza essere riaddestrato, afferma l’azienda. Il modello utilizza NVIDIA Cosmos, Isaac Lab, Omniverse e TensorRT per

AI.info Team · Scritto con l’IA · verificato · 2026-09-12

Il modello di base S1 di Skild AI per la robotica può imparare compiti nuovi e di lunga durata da una singola dimostrazione video, afferma l’azienda, mentre NVIDIA fornisce gli strumenti di calcolo, simulazione e gestione dei dati alla base del sistema. L’affermazione mette in discussione il flusso di lavoro standard della robotica industriale, in cui un nuovo prodotto, una diversa disposizione degli spazi o un nuovo processo richiedono spesso una nuova raccolta di dati, un riaddestramento e una validazione.

S1 segue una strada diversa: un operatore registra il compito desiderato, fornisce il video al modello come prompt e lascia che il robot traduca la dimostrazione in azioni. Prima di tentare il compito, il modello non aggiorna i propri pesi né viene sottoposto a un post-addestramento specifico, afferma Skild.

Le aziende hanno annunciato la collaborazione in un articolo del NVIDIA Blog del 10 settembre. Skild ha pubblicato separatamente la propria descrizione tecnica di S1 ad agosto, presentando il sistema come capace di apprendimento in contesto per la manipolazione robotica.

La promessa di Skild su un solo video alla prova dei vincoli della fabbrica

I robot industriali svolgono in genere compiti circoscritti e ripetitivi. Cambiare un componente, spostare una postazione di lavoro o modificare la sequenza di assemblaggio può richiedere agli ingegneri di raccogliere nuovi esempi e mettere a punto una policy specializzata. Skild sostiene che S1 possa recepire questi cambiamenti da una dimostrazione, anziché attraverso una nuova sessione di addestramento.

S1 gestisce compiti nuovi che durano fino a 10 minuti e comportano decine di passaggi di manipolazione, afferma l’azienda. Tra gli esempi figurano il rinvaso di una pianta, la preparazione di un pancake, la preparazione di caffè con il metodo pour-over e l’assemblaggio di un kit. Secondo Skild, questi compiti richiedono al sistema di combinare abilità in sequenze che non erano presenti insieme nei suoi dati di addestramento.

«L’apprendimento attraverso l’esperienza, e non la preprogrammazione, è il salto di qualità che si è verificato nella robotica», afferma Deepak Pathak, cofondatore e amministratore delegato di Skild AI, nell’articolo di NVIDIA. «Le tecnologie NVIDIA Isaac Lab e NVIDIA Cosmos aiutano Skild a creare l’esperienza scalabile e diversificata di cui i suoi robot hanno bisogno per imparare in molti scenari e con diverse configurazioni fisiche».

Il 66% di successo su compiti nuovi articolati in più passaggi

Secondo Skild, S1 registra un tasso di successo per passaggio del 66% su nuovi compiti articolati in più passaggi, contro il 9% di un sistema di IA simile che riceve prompt testuali. Il confronto proviene dalla valutazione interna dell’azienda e rappresenta una differenza di oltre sette volte, ma non è un benchmark verificato in modo indipendente.

La descrizione tecnica della stessa Skild afferma che i compiti di prova duravano da quattro a otto minuti ed erano tratti da un insieme di attività esterne alla distribuzione dei dati di preaddestramento del modello. L’azienda ha valutato il successo cumulativo per passaggio e ha fatto ricorso all’intervento umano per recuperare dagli errori durante le esecuzioni, soprattutto perché altrimenti il sistema usato per il confronto non avrebbe potuto completare i compiti nuovi più lunghi.

Il maggiore vantaggio dichiarato del modello emerge nei compiti che non ha mai visto prima. I sistemi che ricevono prompt testuali hanno raggiunto un tasso di successo del 9% dopo essere stati addestrati su 100.000 ore di dati, mentre S1 ha raggiunto il 66% usando l’apprendimento in contesto basato su video, su una scala di valutazione equivalente, afferma Skild. Nei compiti compresi nella distribuzione dei dati di addestramento, S1 ha raggiunto una precisione di circa il 96%, secondo Skild.

Un confronto separato stima che una dimostrazione video produca prestazioni simili a quelle ottenute con circa 380 episodi di post-addestramento. Raccogliere quegli episodi tramite teleoperazione richiederebbe da 50 a 100 ore per compiti di lunga durata, afferma Skild. La stima deriva dall’interpolazione dei risultati interni dell’azienda, non da uno studio sull’impiego in produzione.

Da una dimostrazione di rinvaso all’assemblaggio di Blackwell

Il test più rapido dalla dimostrazione all’esecuzione riguardava il rinvaso di una pianta, afferma Skild. Il team ha registrato un video in prima persona di un essere umano alle 21:22 e S1 ha iniziato l’esecuzione autonoma sull’hardware alle 21:27. La cronologia pubblicata dall’azienda indica un intervallo complessivo di 11 minuti dalla registrazione della dimostrazione all’esecuzione da parte del robot, compresa la preparazione della scena.

Secondo le aziende, il modello ha gestito anche cambiamenti durante l’esecuzione. S1 può reagire quando gli oggetti si spostano, recuperare dopo gli errori e usare oggetti sostitutivi con funzioni simili, afferma Skild. Il suo articolo tecnico descrive esempi in cui il robot cambia il modo in cui annaffia una pianta o riempie un bicchiere quasi pieno, anziché copiare meccanicamente la dimostrazione.

L’obiettivo commerciale è meno spettacolare del girare pancake. Skild, NVIDIA e Foxconn stanno impiegando Skild Brain su manipolatori a due bracci per l’assemblaggio di alta precisione dei sistemi NVIDIA Blackwell. Un flusso di lavoro dimostrato richiede a un robot di installare una barra di distribuzione e un blocco di fine corsa, serrare 16 viti e reagire quando la scena differisce dal piano originale.

Skild sta inoltre lavorando per impiegare S1 presso Sumitomo Wiring Systems nei processi di produzione dei cablaggi, che l’azienda descrive come in precedenza difficili da automatizzare. Skild ha più di 60 clienti paganti e ha superato un ritmo annualizzato di ricavi ricorrenti di 100 milioni di dollari 10 mesi dopo il suo primo impiego commerciale, secondo l’aggiornamento aziendale del 10 settembre.

NVIDIA fornisce lo stack di addestramento e simulazione

Il ruolo di NVIDIA va oltre le GPU usate per addestrare S1. Skild usa i modelli NVIDIA Cosmos per diversificare i dati di addestramento e convertire i video in descrizioni strutturate, mentre Cosmos Curator aiuta a organizzare e filtrare i dati, secondo le aziende.

Skild usa anche le librerie NVIDIA Omniverse e Isaac Sim per creare ambienti virtuali basati sulla fisica, testare condizioni insolite e validare il comportamento dei robot prima del loro impiego. Isaac Lab fornisce il framework di apprendimento per rinforzo, mentre il motore fisico Newton modella forze, contatti, collisioni e pressione nel tentativo di ridurre il divario tra simulazione e hardware.

Le due aziende stanno sviluppando insieme solutori di simulazione accelerati dalle GPU per il contatto, la presa e la manipolazione degli oggetti da parte dei robot. Questi solutori saranno in futuro disponibili anche per altri sviluppatori tramite Newton, afferma NVIDIA. Gli strumenti Nsight aiutano a individuare i colli di bottiglia nell’addestramento e TensorRT viene usato per ottimizzare l’inferenza in modo che i robot possano rispondere in tempo reale.

L’impiego è la prova che S1 deve ancora superare

La stessa Skild colloca l’impiego al centro della propria strategia di valutazione. L’azienda avverte che un video in cui un robot riesce in un compito può nascondere se il sistema funzioni nel 5%, nel 10% o nel 99% dei casi, perché i team possono ripetere una dimostrazione finché non ottengono una buona clip.

Questa distinzione conta per S1. Un prompt costituito da un solo video può ridurre il tempo necessario per configurare un nuovo compito, ma le fabbriche richiedono comunque tempi di ciclo prevedibili, comportamenti di recupero sicuri e affidabilità con attrezzature, materiali e operatori diversi. L’impiego commerciale di Skild è pensato per riversare l’esperienza acquisita nel modello generale, laddove gli accordi con i clienti lo consentano, afferma l’azienda.

Le evidenze disponibili nell’immediato sono un insieme di risultati di benchmark interni e primi impieghi industriali, non una documentazione pubblica di prestazioni produttive continuative presso la clientela dell’azienda. Per ora, la proposta più chiara di S1 è specifica: mostrare al robot un nuovo compito articolato in più passaggi, evitare una nuova sessione di fine-tuning e passare dalla dimostrazione all’esecuzione sull’hardware in pochi minuti, anziché in settimane di preparazione specifica per il compito.