Mage-VL-Cowork: una ricetta completa di addestramento per apprendere l’uso ibrido del computer da harness evoluti

Abstract degli autori

Gli agenti efficaci per l’uso del computer (CUAs) dovrebbero combinare senza soluzione di continuità l’interazione visiva con le GUI, il codice e l’esecuzione nel terminale all’interno di un’unica policy. Presentiamo Mage-VL-Cowork, un CUA ibrido da 4B, addestrato a partire da un checkpoint generale allineato multimodalmente attraverso un curriculum progressivo end-to-end in cinque fasi, tra mid-training, SFT e RL. Per rendere possibile questo curriculum su larga scala, Mage-CUA-Forge sostituisce la creazione di agenti per ogni attività con workflow di generazione riutilizzabili, condizionati alle competenze, e preparatori specifici per applicazione, sintetizzando 293.806 attività desktop e web distribuite su 6.915 competenze e riducendo dell’82,6% la spesa ricorrente per ciascuna attività. Anziché distillare direttamente un teacher predefinito, evolviamo l’harness del teacher e istanziamo harness CUA specializzati per ottenere traiettorie di alta qualità insieme a una supervisione specifica per ciascuna fase. Infine, attraverso diverse fasi di addestramento, Mage-VL-Cowork-4B raggiunge il 66,0% su OSWorld-Verified, con una maggiore efficienza in termini di costo del ragionamento, ottenendo prestazioni allo stato dell’arte per la sua dimensione in termini di parametri e spingendo in avanti la frontiera dell’intelligenza on-device.