Omni-IO Skills: rendere il tuo agente nativamente omnimodale

Abstract degli autori

Gli agenti generalisti sanno pianificare, ragionare e agire su orizzonti temporali lunghi, ma le loro capacità di produrre contenuti restano frammentate tra testo, immagini, audio, video, documenti, risorse 3D e codice. Estendere un modello di base a ulteriori modalità lega l’ampliamento delle capacità a costosi aggiornamenti del modello; assemblare modelli e strumenti specialistici, invece, lascia irrisolta la questione di come coordinare procedure, dipendenze, risorse intermedie e revisioni tra un turno e l’altro. Presentiamo Omni-IO Skills, un’infrastruttura plug-and-play per agenti che rende nativamente omnimodali gli agenti esistenti grazie a competenze gerarchiche, un’interfaccia standardizzata per l’esecuzione multimodale, un’orchestrazione che tiene conto delle dipendenze e un Asset Registry persistente. I flussi di lavoro che coinvolgono più risorse sono rappresentati come Declare Execution Graphs, che eseguono contemporaneamente le operazioni indipendenti e registrano gli output prodotti con successo per il riutilizzo nelle fasi successive e nei turni successivi, con backend di esecuzione intercambiabili. Le sue 27 competenze coprono 38 attività rappresentative, distribuite tra sette modalità di artefatti e quattro categorie di capacità: comprensione, generazione, ragionamento e recupero delle informazioni. Su UniM-90, l’infrastruttura porta le percentuali di supporto agli input di GPT-5.6 Sol e Claude Sonnet 5 rispettivamente dal 40,00% e dal 38,89% al 100%, mentre il Semantic--Quality Coupled Score relativo sale rispettivamente da 26,99 a 74,94 e da 27,82 a 77,78; lo Strict Structure Score raggiunge 100,00 e 99,78. Questi risultati mostrano che combinare le capacità a livello di infrastruttura è una via praticabile per realizzare sistemi omnimodali dalle capacità ampie ed espandibili, senza modificare il nucleo di ragionamento dell’agente che li ospita.