The Pulse
Cohere rende disponibili Embed 5 e Rerank 5 su OpenRouter
Cohere afferma che Embed 5 e Rerank 5 sono ora disponibili su OpenRouter attraverso un’unica API. La sua guida mostra come i modelli possano essere usati in una pipeline di generazione aumentata dal recupero che cerca nei documenti e fornis
AI.info Team · Scritto con l’IA · verificato ·
Cohere afferma che Embed 5 e Rerank 5 sono ora disponibili su OpenRouter, con accesso attraverso un’unica API. La dimostrazione costruisce una pipeline di generazione aumentata dal recupero (RAG), che recupera il testo pertinente da una raccolta di documenti prima che un modello linguistico risponda a una domanda.
Un’unica chiave OpenRouter per il recupero e la generazione
Gli utenti di OpenRouter possono usare la stessa chiave API e gli stessi crediti che già usano per altri modelli, senza ulteriori configurazioni. La guida di Cohere usa un solo client per creare gli embedding dei documenti, recuperare i candidati, riordinarli e inviare il testo selezionato a un modello di chat. Il flusso di lavoro non richiede SDK, account o fatture separati da gestire.
La pipeline prevede una fase di indicizzazione offline e un percorso online eseguito per ogni domanda. L’indicizzazione crea gli embedding dei frammenti di documento per renderli ricercabili; ogni domanda richiama poi un modello Embed 5 Fast, un modello Rerank 5 e un modello di chat attraverso l’API di OpenRouter. Secondo Cohere, sapere quali chiamate avvengono una sola volta e quali a ogni richiesta permette di spiegare gran parte dei costi e della latenza della pipeline.
Embed 5 separa l’indicizzazione dalle operazioni sulle query
L’esempio indicizza i documenti con Embed 5 Pro e gestisce le domande con Embed 5 Fast. Cohere afferma che i due modelli condividono uno spazio di embedding, consentendo a Fast di cercare in un indice costruito con Pro, purché entrambi usino le stesse dimensioni dei vettori. Nei test di Cohere su 40 dataset, le query di Fast su un indice Pro hanno mantenuto il 98,4% della qualità di recupero ottenuta usando solo Pro; usando Fast per entrambe le operazioni, la percentuale è stata del 96,6%.
Embed 5 produce vettori di sei dimensioni diverse, con 2048 dimensioni come impostazione predefinita. Cohere raccomanda i vettori int8 a 1024 dimensioni come miglior rapporto tra qualità e costo, osservando però che l’API di OpenRouter per gli embedding restituisce valori in virgola mobile; l’esempio nel post usa quindi valori in virgola mobile a 1024 dimensioni. Per semplicità, la guida mantiene l’archivio vettoriale in NumPy e afferma che in produzione può essere sostituito con il database vettoriale preferito, come pgvector, Qdrant, Pinecone o Weaviate.
Rerank 5 filtra la lista ristretta
La funzione di recupero della guida richiede fino a 20 frammenti in base alla similarità del coseno. Il corpus di esempio contiene sei documenti, ciascuno dei quali produce un frammento, quindi l’esempio può restituire al massimo sei candidati. Rerank 5 ricalcola poi i punteggi dei candidati e ne restituisce fino a cinque; il codice di esempio scarta qualsiasi risultato con un punteggio di pertinenza inferiore a 0,3. Possono quindi rimanere meno di cinque risultati. Cohere descrive i punteggi di Rerank 5 come calibrati tra query e domini diversi, così che la stessa soglia di pertinenza possa filtrare il contesto poco rilevante prima che raggiunga il modello linguistico.
Rerank 5 può assegnare un punteggio a una query e a un frammento che insieme contengano fino a 32.000 token; la guida afferma che gli input più lunghi vengono suddivisi in più passaggi. Cohere afferma che il modello riordina efficacemente materiale semistrutturato, come record JSON e tabelle, quando è formattato come stringhe YAML, e che cambiare modello di reranking non richiede una nuova indicizzazione, perché il reranking legge il testo grezzo al momento della query. Il post raccomanda Rerank 5 Pro per le query che richiedono molto ragionamento e per i documenti lunghi o specifici di un dominio, e Rerank 5 Fast per le ricerche ad alto volume e gli agenti che effettuano molte ricerche per ogni attività.
Una risposta con citazioni dopo il recupero
Una volta che il reranking ha selezionato i frammenti, l’esempio li invia come fonti numerate a un modello di chat e gli chiede di rispondere basandosi solo su quelle fonti. L’esempio usa deepseek/deepseek-v4.1-flash-1017, mentre il commento nel codice afferma che qualsiasi modello di chat su OpenRouter può svolgere questo ruolo. Se nessun risultato supera la soglia di pertinenza, l’esempio salta la chiamata al modello linguistico.
L’esempio confronta le classifiche per una domanda sulla rotazione di una chiave API senza interruzioni del servizio. Il solo Embed 5 colloca i segreti per la firma dei webhook al secondo posto con 0,337 e la creazione di chiavi API al terzo con 0,316; dopo il reranking, entrambi scendono sotto la soglia di 0,3. La rotazione delle chiavi API ottiene un punteggio di 0,522 nei risultati basati sui soli embedding e di 0,808 dopo Rerank 5.