The Pulse
Cloudflare presenta i modelli decisionali Clef e un servizio di fine-tuning con apprendimento per rinforzo
Cloudflare ha rilasciato Clef e Clef-flash, modelli a pesi aperti che restituiscono decisioni tipizzate e probabilità anziché testo libero. L’azienda offre inoltre ai clienti un servizio di fine-tuning con il supporto dei suoi ingegneri, in
AI.info Team · Scritto con l’IA ·
Cloudflare presenta Clef come un’alternativa più veloce ai modelli linguistici generalisti per decisioni come l’instradamento di una richiesta di assistenza, ma i test dell’azienda mostrano un compromesso più circoscritto: Jev, il modello decisionale a cui Clef si contrappone, ottiene comunque un punteggio più alto in un flusso di lavoro aziendale. Annunciati il 1° ottobre, Clef e il più piccolo Clef-flash restituiscono probabilità per opzioni predefinite invece di generare testo libero. Cloudflare ne rilascia i pesi con licenza Apache 2.0 e li affianca a un nuovo servizio per il fine-tuning di Clef in base ai carichi di lavoro dei clienti.
Clef rinuncia alle risposte aperte in favore di opzioni delimitate
Un modello decisionale riceve uno stato, come un messaggio di un cliente, e una serie di domande tipizzate, poi assegna un punteggio alle risposte consentite. Il codice può usare quei punteggi per instradare una richiesta, inoltrarla a un livello superiore o passarla a una persona. A differenza di un modello linguistico a cui si chiede di produrre una risposta strutturata, Clef non genera prima un testo che il software deve interpretare.
Cloudflare afferma che Clef usa Qwen come base ed esegue una fase di prefill prima di assegnare in parallelo un punteggio alle opzioni valide dello schema. La sua architettura combina una testa di instradamento con adapter a basso rango di rango 256; secondo l’azienda, l’addestramento ha impiegato la cross-entropy con label smoothing e la Brier loss per migliorare la calibrazione delle probabilità. Clef dispone anche di un encoder visivo, secondo Cloudflare, e di una finestra di contesto da 64.000 token, il doppio dei 32.000 token che l’azienda attribuisce alla finestra di Jev.
Cloudflare segnala un vantaggio nella latenza, con un’eccezione tra i flussi di lavoro
Nel confronto della latenza condotto dall’azienda su 43 valutazioni, Clef-flash ha registrato una mediana di 38,8 millisecondi e Clef di 209,3 millisecondi, contro i 524,1 millisecondi di Jev. I valori al 95° percentile riportati da Cloudflare sono stati di 122,4 millisecondi per Clef-flash, 238,6 per Clef e 536,0 per Jev. I risultati provengono da una valutazione condotta dalla stessa Cloudflare, non da una verifica indipendente.
Su quattro flussi di lavoro aziendali nella suite di valutazione di Typesafe, Clef ha superato Jev nell’elaborazione delle fatture, nell’assistenza clienti e negli incidenti di sicurezza. Jev ha ottenuto 71,6 nell’osservabilità delle tracce degli agenti, davanti a Clef con 68,5 e a Clef-flash con 69,8. La differenza conta: i dati sulla velocità non dimostrano che uno dei due modelli Clef sia la scelta migliore per ogni compito decisionale.
«Quando si sottopone un modello a fine-tuning, si può rinunciare a parte delle sue prestazioni generaliste in cambio di una maggiore accuratezza in un ambito specifico.»
Michelle Chen, Alex Reneau e Kevin Flansburg, autori del Cloudflare Blog
Il fine-tuning con apprendimento per rinforzo comincia con gli ingegneri di Cloudflare
La nuova offerta di Cloudflare per l’apprendimento per rinforzo non è ancora un prodotto self-service. I clienti possono collaborare con il team di ingegneri dell’azienda che lavora direttamente con loro per adattare Clef al proprio carico di lavoro; Cloudflare afferma che userà queste collaborazioni per costruire una piattaforma self-service con cui raccogliere dati, sottoporre i modelli a fine-tuning e distribuirli nuovamente sulla propria infrastruttura.
Il flusso di lavoro proposto integra diversi servizi Cloudflare: AI Gateway può acquisire i dati delle richieste e delle risposte, Workers AI può generare rollout del modello, Containers può fornire un ambiente isolato in cui assegnare punteggi alle azioni e riprodurle, e un nuovo componente Trainer aggiorna i pesi del modello. L’azienda prevede inoltre di distribuire nuovamente i modelli tramite Workers AI. Cloudflare afferma che i team interni stanno esplorando impieghi nella revisione Trust & Safety, nello smistamento delle richieste di assistenza e nella classificazione dei bot.
I pesi aperti non eliminano il compromesso della specializzazione
Gli sviluppatori possono eseguire localmente i pesi rilasciati oppure usare i modelli ospitati su Workers AI; i modelli sono compatibili con l’API di Jev. Questa compatibilità potrebbe facilitare i test per i team che già usano Jev, mentre l’output limitato a opzioni predefinite potrebbe essere adatto ai flussi di lavoro che richiedono campi prevedibili e punteggi di confidenza.
Il compromesso è intrinseco al prodotto: Clef è progettato per scegliere tra opzioni fornite dallo sviluppatore, non per sostituire un modello che deve ragionare e rispondere liberamente. Il piano di Cloudflare di iniziare con un fine-tuning guidato dagli ingegneri riflette il lavoro necessario per adattare un modello alle etichette e alle regole decisionali di ciascun cliente. Per ora, la piattaforma self-service per l’apprendimento per rinforzo resta un passo futuro, mentre i pesi scaricabili e i modelli Clef ospitati sono disponibili per essere provati.