La legge SIMPLE per il costo energetico dell’inferenza degli LLM

Abstract degli autori

L’IA generativa viene tariffata per token, ma i token non hanno tutti lo stesso costo. Ogni token entra nella KV-cache e aumenta il costo di quelli successivi, perciò il consumo energetico cresce in modo non lineare lungo una sequenza i cui token sembrano identici. Nessun modello analitico indica quanto costa un token, e il modello SOTA più accurato è frutto di un adattamento ai dati, non è una legge: incorpora l’architettura in coefficienti stimati, richiedendo un adattamento specifico per ogni LLM. Deriviamo espressioni in forma chiusa della complessità computazionale e di accesso alla memoria dell’inferenza degli LLM in funzione degli iperparametri architetturali, considerando MHA e GQA, e confrontiamo una famiglia di modelli analitici con granularità crescente. Da questi ricaviamo SIMPLE Inference Model to Predict LLMs Energy (SIMPLE), una legge a quattro parametri che distingue il prefill dal decode e, nel decode, il costo della KV-cache dal calcolo del token successivo. Sulle tracce di 13 LLM densi di sei famiglie eseguiti su GPU NVIDIA H100, raggiunge R2 = 0,969 e un MAPE dell’11,97%, con prestazioni da 3,1 a 3,5 volte superiori a quelle dello SOTA, senza calibrazione specifica per ogni LLM. La legge SIMPLE non si limita a prevedere, ma spiega anche: il consumo energetico del prefill cresce quadraticamente con la dimensione nascosta, perciò gli LLM più grandi risentono maggiormente degli input lunghi; inoltre, un raggruppamento dei KV più aggressivo in GQA riduce il consumo energetico per token fino a 3 volte rispetto all’MHA standard. Aumentare il budget di token di ragionamento spinge la lunghezza dell’output oltre il minimo energetico derivato analiticamente, causando una crescita superlineare del consumo energetico; sebbene l’accuratezza aumenti con il budget, il consumo energetico cresce più rapidamente, quindi l’intelligenza per joule raggiunge il picco con un budget intermedio e cala fino a 3,14 volte nell’intervallo considerato, pari a un fattore di 4,0 nel budget di ragionamento. Il serving agentico aumenta di 13,0 volte il consumo energetico per richiesta rispetto a quello non agentico, a causa della crescita sia del termine del prefill sia di quello della KV-cache all’aumentare della lunghezza dell’input; sebbene il caching dei prefissi elimini gran parte del costo del prefill (-93%), il termine della KV-cache non ne risente, perciò anche una richiesta agentica con cache costa 4,8 volte di più.