The Pulse

HOPE di Amazon tiene conto delle interazioni a coppie nel pruning degli esperti MoE

Amazon descrive HOPE, un metodo che usa le interazioni a coppie tra esperti per il pruning dei modelli linguistici mixture-of-experts. Il metodo è stato valutato su tre modelli: con un pruning del 50%, ha ottenuto una posizione media in cla

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

HOPE tiene conto delle interazioni a coppie tra esperti

Il 9 novembre 2026 Amazon ha presentato HOPE, un metodo per il pruning degli esperti nei modelli linguistici mixture-of-experts. Anziché classificare gli esperti separatamente, HOPE tiene conto delle interazioni a coppie tra esperti che vengono costantemente coattivati. Secondo il post, l’assegnazione di punteggi indipendenti può non rilevare queste relazioni di cooperazione, soprattutto quando il pruning rimuove fino al 50% degli esperti.

Perché il pruning degli esperti è importante

Il post porta come esempio Qwen3.5-122B: ciascuno dei suoi 48 livelli mixture-of-experts ha 256 esperti e gli MLP degli esperti rappresentano il 95% dei circa 250 GB di memoria occupata dai parametri. Per ogni token vengono usati solo 8 esperti in ciascun livello. HOPE stima le interazioni a coppie a partire da un dataset di calibrazione, poi seleziona un insieme di esperti da rimuovere minimizzando una funzione obiettivo quadratica.

La posizione media di HOPE migliora a 1,58 con un pruning del 50%

Amazon ha valutato HOPE su Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air, usando per la calibrazione le traiettorie di Evol-CodeAlpaca e SWE-Bench Verified. La valutazione lo ha confrontato con quattro metodi del primo ordine a tassi di pruning dal 10% al 50%, usando la suite Tulu3 e SWE-Bench Pro. Considerando tutte le condizioni, HOPE ha ottenuto una posizione media di 2,07 su 5 metodi, classificandosi al primo posto nel 39% delle condizioni e tra i primi due nel 67%.

Con un pruning del 50%, la posizione media di HOPE è migliorata a 1,58, rispetto a 2,42 per il metodo successivo in classifica, REAP. Su SWE-Bench Pro, il post riporta un punteggio di 42,3 per Qwen3.5-35B-A3B con un pruning del 50%, eguagliando il 41,8 del modello senza pruning; REAP ha ottenuto 36,2. Secondo il post, il vantaggio di HOPE è più marcato a tassi di pruning più elevati, mentre i metodi del primo ordine come REAP e MAN sono talvolta competitivi tra il 10% e il 20%.

HOPE è stato testato su Qwen3, Qwen3-Next, Qwen3.5 e GLM-4.5

Il pacchetto HOPE prevede tre fasi: la calibrazione, la risoluzione del problema di programmazione quadratica e il pruning del checkpoint del modello. La fase di calibrazione esegue un singolo passaggio in avanti sui dati di calibrazione e, secondo il post, la risoluzione richiede pochi secondi per livello. Il modello risultante dopo il pruning è un checkpoint HuggingFace standard.

HOPE rileva le interazioni a coppie, ma anche interazioni di ordine superiore, comprese quelle tra terne e oltre, potrebbero fornire un segnale aggiuntivo, sebbene siano difficili da stimare dal punto di vista combinatorio.