Microsoft ha aggiornato il plugin CUDA per ONNX Runtime, introducendo una funzione che può aiutare a eseguire alcuni modelli Mixture of Experts anche quando non entrano interamente nella memoria della GPU. Il plugin CUDA 0.4.0, rilasciato il 14 novembre, consente di spostare sulla CPU gli esperti del modello meno utilizzati e mantenere sulla GPU quelli necessari all’elaborazione. La funzione richiede ONNX Runtime 1.32.0.
Come funziona l’offload CPU-GPU
I modelli Mixture of Experts sono composti da più sotto-reti specializzate, chiamate esperti. A seconda dell’input, il sistema ne attiva solo una parte. La nuova funzione di expert offload sfrutta questa struttura: gli esperti possono restare archiviati nella memoria del sistema e raggiungere la GPU quando servono, riducendo la quantità di VRAM necessaria a tenere il modello interamente sul dispositivo.
ONNX Runtime offre una modalità automatica, che mantiene gli esperti sulla GPU quando c’è spazio e passa all’esecuzione ibrida se la memoria non basta. È disponibile anche una modalità obbligatoria, che fa fallire la creazione della sessione quando il modello non può essere gestito secondo i requisiti impostati. La configurazione avviene tramite opzioni della sessione, senza modificare il modello.
Meno VRAM, ma la latenza va misurata
L’aggiornamento può ampliare il numero di configurazioni hardware in grado di eseguire modelli MoE compatibili. Non significa, però, che ogni modello possa funzionare su qualsiasi GPU: il supporto riguarda specifici nodi e formati, tra cui QMoE e modelli quantizzati compatibili.
Anche il compromesso sulle prestazioni va verificato caso per caso. Spostare parte dell’elaborazione sulla CPU può ridurre la pressione sulla memoria grafica, ma le note di rilascio non indicano un valore unico per l’eventuale aumento della latenza. Il risultato dipenderà dal modello, dalla quantizzazione, dalla CPU, dalla memoria di sistema e dalla GPU utilizzata.
Requisito: versioni compatibili
Il plugin CUDA 0.4.0 è abbinato a ONNX Runtime 1.32.0. Alcune funzioni, in particolare l’offload MoE, richiedono le nuove capacità introdotte nel runtime principale. Microsoft raccomanda di allineare le versioni e segnala che differenze negli schemi degli operatori possono causare esecuzioni errate o arresti anomali.
Il rilascio include anche supporto per pesi GGUF e block-packed, kernel quantizzati e ottimizzazioni per contesti lunghi e decodifica speculativa. Per chi sviluppa o distribuisce modelli, il dato centrale resta la possibilità di usare insieme CPU e GPU quando la memoria video è il limite. L’effettivo vantaggio in termini di capacità e velocità dovrà essere valutato con benchmark su hardware e modelli reali.
Fonti: ONNX Runtime CUDA Plugin EP 0.4.0 · ONNX Runtime 1.32.0
