The Pulse
Elorian lancia Glimpse, un modello che ragiona attraverso immagini e video
Elorian ha rilasciato Glimpse in anteprima di ricerca, descrivendolo come un modello capace di riesaminare le informazioni visive mentre ragiona su immagini e video. L’azienda presenta i risultati di diverse valutazioni multimodali e afferm
AI.info Team · Scritto con l’IA ·
«Gli esseri umani possono guardare le istruzioni illustrate di IKEA, senza testo, e montare i mobili IKEA, giusto? Perché i modelli di IA non possono farlo?»
Andrew Dai, amministratore delegato di Elorian, a TechCrunch
Elorian ha rilasciato Glimpse il 16 ottobre in anteprima di ricerca, presentandolo come un modello capace di tornare a esaminare le informazioni visive mentre ragiona, anziché affidarsi soltanto a una conversione iniziale dell’immagine in testo. Secondo l’azienda, il modello può seguire gli oggetti mentre si muovono, confrontare punti di vista che cambiano e dedurre che cosa potrebbe accadere in seguito. L’accesso tramite API e un’interfaccia di chat interattiva risultano disponibili; TechCrunch ha riferito che, al lancio, l’interfaccia di chat era accessibile solo tramite lista d’attesa.
Glimpse torna a esaminare le informazioni visive
Molti sistemi multimodali trasformano un’immagine in token, poi affrontano una domanda lavorando sul testo. Elorian afferma che Glimpse può riesaminare e affinare le proprie rappresentazioni visive interne durante il ragionamento. Il suo «spazio di lavoro visivo» può servire, per esempio, a ingrandire una regione dell’immagine, esaminare fotogrammi selezionati di un video a intervalli più ravvicinati o eseguire codice per misurare e confrontare ciò che appare.
Secondo il post di lancio di Elorian, il modello usa anche strumenti multimodali per scrivere codice, trasformare immagini ed esaminare video. L’azienda afferma che Glimpse può coordinare agenti secondari che si scambiano testo, elementi visivi e rappresentazioni interne. Queste funzioni hanno lo scopo di consentirgli di verificare un’interpretazione confrontandola con il materiale originale prima di rispondere.
Elorian segnala risultati migliori in quattro valutazioni
Elorian afferma che Glimpse supera GPT-6 Astra in quattro valutazioni: ragionamento su grafici scientifici, conteggio a vocabolario aperto, generazione di didascalie per video brevi e comprensione degli eventi di manipolazione. Nel test di ragionamento sui grafici, Glimpse ha ottenuto 92,90 contro 92,10 di Astra; nella generazione di didascalie per video brevi, i punteggi sono stati 82,66 e 80,32. L’azienda riferisce che i modelli hanno ottenuto lo stesso risultato nel ragionamento spaziale incarnato, con un punteggio di 83,75 per entrambi.
Si tratta di risultati prodotti da Elorian, non di una valutazione indipendente. La sua tabella comparativa precisa che, in generale, i risultati si basano sul livello massimo di impegno nel ragionamento di ciascun modello e su una configurazione nativa con agenti, con configurazioni degli strumenti diverse a seconda del sistema. Per le valutazioni sui video, Elorian afferma che GPT-6.1 Sol e Opus 5.5 hanno usato un livello elevato di impegno nel ragionamento, fatta eccezione per il risultato di Sol su Video-MME v2, ottenuto con il livello max; i risultati con il livello max non sono disponibili per le altre valutazioni sui video. I risultati variano da un test all’altro: Astra ha ottenuto punteggi più alti di Glimpse nelle voci della tabella dedicate al ragionamento visivo di dettaglio, alla generazione di didascalie dettagliate per i video e al ragionamento temporale.
Elorian indica prezzi di 0,60 dollari per milione di token in input e di 3 dollari per milione di token in output. La sua tabella confronta queste tariffe rispettivamente con 10 e 50 dollari per GPT-6 Astra. L’azienda afferma che un piccolo gruppo ha addestrato Glimpse usando qualche centinaio di GPU, per poi sottoporlo a post-training a partire da un modello di base a pesi aperti.
Il controllo dei robot resta un obiettivo futuro dichiarato
Elorian indica la robotica, la ricerca scientifica e il lavoro sui media come possibili ambiti d’uso, tra cui l’etichettatura di video per l’addestramento dei robot e la ricerca in grandi raccolte di video. Gli esempi presentati al lancio includono l’uso di Glimpse come pianificatore per una policy robotica, accanto a GPT-6 Astra. In quell’esempio, entrambi i pianificatori portano a termine il compito; Elorian indica un costo di 3,5 centesimi di dollaro per l’episodio di pianificazione di Glimpse e di 24,9 centesimi di dollaro per quello di Astra.
L’azienda distingue tra interpretare le scene e agire direttamente al loro interno. Nel suo post afferma di stare sviluppando risposte sotto forma di azioni dirette per i robot; la ricostruzione calibrata e il controllo dei robot restano obiettivi futuri. Per ora, Glimpse viene rilasciato in anteprima di ricerca, con al centro l’analisi visiva: esaminare ciò che è accaduto in un’immagine o in un filmato, verificare i dettagli e spiegare il risultato.