Ai2 ridefinisce la gestione dei cluster GPU con budget trasparenti

Il team infrastruttura AI di Ai2 ha annunciato il passaggio a un nuovo sistema di scheduling per i propri cluster di GPU. L'obiettivo è superare i limiti dei tradizionali scheduler basati sulle priorità, che portavano a inefficienze operative e conflitti tra i diversi gruppi di ricerca. La nuova architettura introduce budget temporali di GPU e un'allocazione equa gerarchica, trasformando la gestione delle risorse da un processo negoziato caso per caso a un meccanismo amministrativo trasparente.

Cosa è successo e perché

Gestire migliaia di GPU NVIDIA (modelli H100, B200 e B300) in cluster da 88 a 1024 unità presenta sfide specifiche. La domanda interna supera costantemente l'offerta disponibile, con picchi di richiesta pari a 2-3 volte la capacità effettiva. Il vecchio sistema, che permetteva ai carichi di lavoro di optare per la non preemibilità, ha generato comportamenti indesiderati noti come "squatting" (occupazione passiva delle risorse) e inflazione delle priorità, dove il 100% dei job finiva per essere etichettato come ad alta priorità, affamando le altre attività.

Cosa cambia in pratica per l'infrastruttura AI

• Eliminazione delle monopolizzazioni: invece di assegnare GPU dedicate a progetti specifici, il nuovo sistema usa budget condivisi che si adattano alla stagionalità della ricerca.
• Preemibilità strutturata: i job non sono più semplicemente "protetti" o "interrompibili", ma seguono un contratto di time-slicing che bilancia l'urgenza e l'impatto.
• Trasparenza amministrativa: la decisione su quanto tempo GPU assegnare a un progetto non è più una trattativa tecnica, ma segue regole di budgeting chiare e verificabili.
• Ottimizzazione dell'utilizzo: l'attenzione si sposta dalla sola disponibilità hardware alla massimizzazione dell'efficienza durante l'intero ciclo di vita del workload, inclusi checkpointing e bootstrap.

Questo approccio affronta la "tragedia dei beni comuni" tipica delle risorse condivise, dove l'interesse individuale nel massimizzare l'accesso alle GPU compromette la performance globale del cluster. Introducendo una forma di "privatizzazione" logica delle risorse tramite budget, Ai2 incentiva i team a usare il tempo assegnato in modo più efficiente, riducendo gli sprechi dovuti a code infinite o occupazioni passive.

Per chi acquista o gestisce infrastruttura AI in Italia, questa evoluzione sottolinea che l'hardware da solo non basta: servono policy di scheduling robuste per garantire che l'investimento in potenza di calcolo si traduca effettivamente in risultati di ricerca. La trasparenza nei criteri di allocazione è diventata un fattore critico per la produttività dei laboratori.

Il prossimo passo per Ai2 sarà concentrarsi sulla metrica di vertice della piramide: l'utilizzo effettivo delle GPU, ottimizzando le applicazioni di training per estrarre il massimo valore da ogni ora schedulata.

Domande frequenti

I dati dei modelli restano su hardware dedicato?

Il sistema descritto riguarda l'allocazione delle risorse di calcolo (GPU) tra i ricercatori interni ad Ai2. Non implica necessariamente un isolamento fisico dei dati tra team, ma una gestione logica dei tempi di utilizzo dell'hardware condiviso.

Questo sistema è disponibile per i clienti esterni?

Si tratta di un'infrastruttura interna di Ai2 per supportare i suoi ricercatori. Non è un servizio cloud pubblico, ma le tecniche di scheduling descritte possono essere applicate in altri contesti di data center.

Che impatto ha sulla velocità di avvio dei job?

Il nuovo contratto di time-slicing potrebbe ridurre leggermente la flessibilità nell'interruzione simultanea di molti job per far spazio a carichi di lavoro grandi, un trade-off che Ai2 sta monitorando tramite simulatori e test in produzione.