Vai al contenuto
AI.info

The Pulse

Ollama v0.40.7 RC corregge la gestione delle impostazioni di ragionamento rimaste nelle richieste

La versione v0.40.7-rc0 di Ollama cambia il modo in cui l’endpoint Responses gestisce le impostazioni salvate relative al livello di ragionamento quando una richiesta è diretta a un modello che non supporta il ragionamento. La versione comp

Ollama v0.40.7 RC corregge la gestione delle impostazioni di ragionamento rimaste nelle richieste

AI.info Team · Scritto con l’IA ·

«Passare in un client Responses da un modello che supporta il ragionamento a llama3.2 può far sì che reasoning.effort=high venga mantenuto nel turno successivo».

hoyyeva, autore della pull request

Quell’impostazione poteva indurre Ollama a rifiutare una richiesta dopo che un utente aveva cambiato modello. La versione v0.40.7-rc0 di Ollama, pubblicata il 18 ottobre, modifica l’endpoint Responses compatibile con OpenAI affinché un valore salvato relativo al livello di ragionamento non provochi quell’errore quando il modello selezionato non supporta il ragionamento.

Perché un’impostazione salvata del livello di ragionamento causava un errore

Il problema si presenta quando un client passa da un modello con diversi livelli di ragionamento a uno che ne è privo. Il client può conservare reasoning.effort=high e inviarlo con una richiesta successiva per un modello come llama3.2. Nella pull request, l’autore hoyyeva ha spiegato che il backend ChatGPT installato invia il livello salvato anche quando il modello selezionato non offre livelli di ragionamento, e Ollama rifiuta il turno con un errore «non supporta il ragionamento».

La discussione sulla pull request fornisce esempi di come si manifesta il problema: una richiesta senza streaming restituisce un errore HTTP 400, mentre una richiesta in streaming emette response.failed. Nella riproduzione del problema segnalata, omettere l’impostazione del livello di ragionamento o impostare esplicitamente think: false consente alla richiesta di riuscire. Il problema segnalato riguarda l’impostazione mantenuta nelle richieste Responses, non l’aggiunta di una nuova capacità di ragionamento ai modelli che ne sono privi.

La modifica applica alle impostazioni di Responses derivate dal livello di ragionamento una soluzione alternativa già esistente per i modelli privi della capacità di ragionare. In sostanza, Ollama ignora il livello mantenuto quando il modello non può utilizzarlo, anziché considerare l’impostazione residua un motivo per respingere la richiesta. La correzione non conferisce a un modello che non supporta il ragionamento una nuova modalità di ragionamento.

Anche le richieste successive alla ricerca sul web ricevono la stessa impostazione risolta

La patch affronta anche una seconda modalità di errore: una richiesta Responses che usa la ricerca sul web può inizialmente riuscire, per poi fallire quando Ollama invia una richiesta successiva al modello. In un commento di revisione alla pull request, Parth Sareen ha descritto come l’inferenza iniziale e la ricerca potessero riuscire, mentre la richiesta successiva poteva conservare l’impostazione originale di livello alto e far scattare l’errore relativo al ragionamento non supportato.

La pull request descrive il problema di fondo come un’impostazione applicata alla richiesta iniziale ma assente dal contesto della richiesta successiva. La modifica riutilizza il valore risolto per il ragionamento nelle richieste successive alla ricerca sul web, così che la richiesta successiva al modello riceva la stessa impostazione risolta. La discussione riferisce che questo caso è stato riprodotto con un modello che non supporta il ragionamento, reasoning.effort: "high" e web_search: la richiesta successiva falliva, mentre omettere il livello o impostare think: false funzionava.

Secondo la pull request, le impostazioni esplicite di think mantengono la loro precedenza e la relativa validazione, mentre la risoluzione dei valori booleani e dei livelli con nome rimane invariata. Restano invariati anche il comportamento dell’API nativa e quello di Chat Completions. La modifica è quindi circoscritta alla gestione del livello di ragionamento in Responses e al flusso delle richieste successive alla ricerca sul web descritti nella pull request.

Tre modifiche nella versione v0.40.7-rc0

L’intervento sul livello di ragionamento è una delle tre modifiche elencate nella release candidate. Ollama afferma inoltre che llama-server può inferire il tipo di modello draft per la decodifica speculativa e che il suo supporto all’inferenza con MLX aggiunge il supporto per PPLX Decider v1.2.

Su GitHub la versione è contrassegnata come pre-release: v0.40.7-rc0 è quindi una release candidate, non una versione definitiva. Per gli sviluppatori che usano l’API Responses, l’effetto pratico è più limitato di un nuovo controllo del ragionamento: le impostazioni salvate relative al livello di ragionamento non dovrebbero più interrompere i turni sui modelli che non supportano il ragionamento, compresa la richiesta successiva alla ricerca sul web.

Fonti

Esplora

Altri articoli