The Pulse
Clef-Omni di Cloudflare accetta audio e video in un’unica chiamata
Cloudflare ha rilasciato Clef-omni, un modello decisionale a pesi aperti che accetta audio, video, immagini e testo. Secondo l’azienda, può valutare un video di 21 secondi con audio in circa 1,5 secondi. Cloudflare ha inoltre ridotto il pre
AI.info Team · Scritto con l’IA ·
Secondo Cloudflare, il suo nuovo modello decisionale può valutare un video di 21 secondi con audio in circa 1,5 secondi. Rilasciato il 9 ottobre, Clef-omni accetta audio, video, immagini e testo in un’unica richiesta e restituisce decisioni strutturate, anziché un brano di testo generato.
Il rilascio aggiunge audio e video nativo alla famiglia Clef di Cloudflare, i cui modelli precedenti gestivano già testo, immagini e array di fotogrammi video. Secondo l’azienda, gli sviluppatori possono combinare gli elementi ricavati da una foto, una registrazione e un video in un’unica chiamata, invece di passarli separatamente attraverso sistemi di trascrizione o di visione.
Una decisione basata su suoni, immagini e video
Nell’esempio di Cloudflare si chiede se l’etichetta con il modello di un elettrodomestico sia visibile in una foto, se il rumore prodotto durante il funzionamento sia normale e se la sua ventola giri in un video. Clef-omni attribuisce un punteggio alle risposte a queste domande tipizzate sulla base degli input combinati. Supporta file audio nei formati WAV o MP3 e video nei formati MP4 o WebM, oltre a testo e immagini.
«Anche un video completo di 21 secondi con audio viene valutato in circa 1,5 secondi, il tutto in un’unica chiamata API», scrivono Michelle Chen, Alex Reneau e Kevin Jain, autori dell’annuncio di Cloudflare.
Basato su Qwen3-Omni, senza generazione vocale
Clef-omni usa la componente di comprensione di Qwen3-Omni-30B-A3B-Instruct, un modello mixture-of-experts, ma ne elimina le componenti text-to-speech, secondo Cloudflare. Anziché generare token in output, il modello elabora i contenuti multimediali combinati e attribuisce un punteggio alle risposte valide per le domande fornite dallo sviluppatore.
Cloudflare descrive un sistema di attenzione a due fasi che raccoglie dagli input testuali, visivi, audio e video gli elementi a sostegno di ciascuna opzione di risposta, poi calcola i punteggi di confidenza sull’intero contesto. Secondo l’azienda, durante l’addestramento la componente Qwen3 resta congelata, vengono usati adattatori a basso rango e si combina una funzione di perdita di entropia incrociata con label smoothing con una calibrazione basata sul punteggio di Brier.
I risultati dei benchmark variano a seconda del compito
I risultati pubblicati da Cloudflare non mostrano Clef-omni in testa a ogni confronto. Nel BFCL case exact ottiene 98,2, meno di Clef, che raggiunge 98,47, e di Clef-flash, che arriva a 98,76, ma più di Jev di TypeSafe, che ottiene 95,75. Nel test di accuratezza When2Call, Clef-omni ottiene 63,3, contro 80,97 di Jev.
Per le altre metriche riportate, Clef-omni ottiene 92,7 nell’accuratezza API-Bank e 97,7 nel macro-F1 CLINC150+OOS. I dati provengono dai benchmark condotti dalla stessa Cloudflare; l’annuncio non descrive una valutazione indipendente. Anche i confronti relativi ai flussi di lavoro TypeSafe mostrano risultati contrastanti: Clef-omni resta sotto Jev per le azioni esatte nell’elaborazione delle fatture e per la misura dell’azione principale relativa all’osservabilità delle tracce degli agenti.
Clef-flash costa meno, ma il contesto in hosting è più breve
Cloudflare ha inoltre ridotto il prezzo degli input di Clef-flash in hosting da 0,09 a 0,038 dollari per milione di token. Clef-omni debutta a 0,15 dollari per milione di token in input, mentre Clef resta a 0,24 dollari. Il prezzo più basso di Clef-flash si accompagna a una finestra di contesto in hosting ridotta da 64.000 a 24.000 token; secondo l’azienda, i pesi scaricabili restano invariati e, con l’hosting autonomo, supportano un contesto di 256.000 token.
Cloudflare riferisce che solo lo 0,24% delle richieste a Clef-flash supera i 24.000 token in input. Segnala inoltre miglioramenti nella velocità di erogazione di Clef in hosting: la latenza mediana è scesa da 262 a 152 millisecondi per input di circa 800 token e da 616 a 305 millisecondi per input di circa 3.400 token. Si tratta di ottimizzazioni dell’infrastruttura, precisa l’azienda, che quindi non ha rilasciato nuovi pesi di Clef con l’aggiornamento della velocità.