Costruzione Capannoni in Acciaio Villanova Mondovì

Un Indice dei Prezzi Potrebbe Chiarire i Costi Opachi del Noleggio di GPU per l’Intelligenza Artificiale

Chiedi cosa, se c’è qualcosa, sta frenando l’industria dell’IA e la risposta dipende molto da chi stai parlando. Ho chiesto a uno degli ex capi dei dati di Bloomberg, Carmen Li, e la sua risposta è stata “trasparenza dei prezzi”.

Secondo Li, l’incapacità della maggior parte delle piccole aziende di IA di prevedere quanto dovranno spendere per il privilegio di noleggiare del tempo su una GPU per addestrare i loro modelli rende le loro attività imprevedibili e ha reso le aziende di finanziamento dell’IA inutilmente costose. Ha fondato la startup Silicon Data per creare una soluzione: il primo indice dei prezzi di noleggio a livello mondiale per una GPU.

Quell’indice dei prezzi di noleggio, chiamato SDH100RT, è stato lanciato oggi. Ogni giorno, elaborerà 3,5 milioni di punti dati da più di 30 fonti in tutto il mondo per fornire un prezzo medio di noleggio spot per l’utilizzo di una GPU Nvidia H100 per un’ora. (“Prezzo spot” è ciò che una merce da consegnare immediatamente viene venduta in quel momento.)

“Credo davvero che il calcolo sarà la risorsa più grande per l’umanità nei prossimi anni”, dice Li. “Se la mia tesi è corretta, allora sarà necessaria una gestione del rischio più sofisticata.”

Secondo Li, un tale indice porterà a strumenti di intelligenza artificiale più economici e più opportunità per un numero più ampio di attori che vogliono entrare nell’industria dell’IA. Come si passa da un indice a tutto questo? La storia di origine di Silicon Data aiuta a spiegarlo.

US $1.04: Vantaggio di prezzo di noleggio per le GPU Nvidia H100 sulla costa orientale degli Stati Uniti rispetto a quelle sulla costa occidentale.

Fino all’inizio dell’anno scorso, Li era responsabile dell’integrazione globale dei dati presso Bloomberg. In quella posizione ha incontrato diverse piccole aziende che stavano cercando di offrire prodotti dati alimentati dall’IA, e molte di esse stavano lottando con lo stesso problema. Potevano offrire il loro prodotto solo a una tariffa fissa, ma il costo del tempo della GPU di cui avevano bisogno era imprevedibile. Di conseguenza, anche i margini di profitto lo erano.

Con materie prime tipiche come l’energia, le aziende possono pianificare queste oscillazioni conoscendo le tendenze storiche e coprendosi con prodotti finanziari come i contratti futures. Ma questo non esisteva per la principale materia prima dell’IA, il tempo su una GPU. Quindi Li si è impegnata a creare le basi per quei prodotti, e il risultato è l’indice dei prezzi SDH100RT.

Ha scelto di indicizzare la Nvidia H100, perché è la GPU più diffusa ed è utilizzata per addestrare nuovi modelli di IA. Tuttavia, è in fase di sviluppo anche un indice dei prezzi per le Nvidia A100, che affrontano molte attività di inferenza. E ha sviluppato un metodo che determinerà quando ha senso indicizzare i prezzi per altre chip di IA, come quelli di AMD e della serie Blackwell di Nvidia.

Insights e Curiosità dai Dati

Anche se è stato lanciato oggi, Silicon Data ha monitorato i prezzi di noleggio delle GPU per mesi. Come ci si potrebbe aspettare, avere una finestra sul prezzo dell’addestramento dell’IA ha rivelato alcuni interessanti spunti. Quello che segue sono alcune cose che Li ha scoperto. (Ha pubblicato queste analisi regolarmente da settembre scorso.)

La costa orientale domina! La costa occidentale sbava: Il prezzo di noleggio H100 è molto stabile negli Stati Uniti, ma c’è un persistente vantaggio sulla costa orientale. A marzo si poteva ottenere un’ora di lavoro da un H100 sulla costa orientale per 5,76 dollari. Ma quella stessa ora ti costerebbe 6,80 dollari sulla costa occidentale.

I chip degli iperscalatori aiutano: L’incursione di Amazon Web Service nella progettazione dei propri chip e server ha abbassato i prezzi per i clienti del gigante del cloud. Secondo Silicon Data, a circa 4,80 dollari l’ora il prezzo medio per unità per GPU per il Trainium2 di AWS è inferiore alla metà del prezzo per l’utilizzo di una Nvidia H100. I chip di prima generazione Inferentia e Trainium si attestano entrambi a meno di 1,50 dollari l’ora, che è inferiore alla metà del prezzo del cavallo di battaglia dell’inferenza di oggi, la Nvidia A100. Tuttavia, si ritiene che gli H100 siano l’unica opzione per l’addestramento di modelli all’avanguardia, quindi le loro prestazioni potrebbero giustificare il costo aggiuntivo.

L’effetto modesto di DeepSeek: Lo shock di Deepseek di gennaio ha fatto poco al prezzo di noleggio spot. Forse ricorderete che le prestazioni e il basso costo di addestramento segnalati degli LLM di DeepSeek di Hangzhou hanno sorpreso molti e hanno mandato in fibrillazione le azioni correlate all’IA. “Quando è uscito DeepSeek, il mercato è impazzito”, dice Li. “Ma il prezzo spot non è cambiato molto.” Al debutto di DeepSeek il prezzo dell’H100 è salito leggermente a 2,50 dollari l’ora, ma era comunque nell’intervallo di 2,40-2,60 dollari l’ora dei mesi precedenti. Poi è sceso a 2,30 dollari l’ora per gran parte di febbraio prima di iniziare a salire di nuovo.

Intel è più esclusivo di AMD: Le GPU sono sempre sotto il controllo delle CPU, di solito in un rapporto 4:1. E il mercato per quel posto CPU è conteso tra Intel e AMD. (Nvidia fa anche la propria CPU, chiamata Grace.) Ma sembra che i clienti siano disposti a pagare un po’ di più per i sistemi alimentati da Intel. Per i sistemi Nvidia A100, quelli con CPU Intel hanno raggiunto circa il 40 percento in più rispetto a quelli con processori AMD. Per l’H100, l’effetto dipendeva dalla tecnologia di interconnessione coinvolta. Se un computer utilizzava SXM o PCIe come collegamenti, Intel otteneva un prezzo più alto. Ma per quelli che utilizzavano lo schema di interconnessione NVLink di Nvidia, AMD otteneva il premio.

La Commodity dell’IA

Si può davvero ridurre il prezzo dell’IA a un singolo numero? Dopotutto, ci sono così tanti fattori coinvolti nelle prestazioni di un computer e nella sua utilità per un cliente specifico. Ad esempio, un cliente potrebbe essere in fase di addestramento con dati che, per motivi legali, non possono attraversare i confini internazionali. Quindi perché dovrebbero preoccuparsi del prezzo in un altro paese? E, come chiunque abbia esaminato i principali risultati di riferimento del machine learning, MLPerf, può vedere, le prestazioni della stessa GPU Nvidia possono variare ampiamente a seconda del sistema in cui si trova e del software in esecuzione.

Secondo Li, la visione della merce può funzionare. L’indice di Silicon Data normalizza tutte queste differenze e attribuisce diversi pesi a cose come quanto un data center partecipa al mercato del noleggio, la sua posizione, le sue fonti di dati e molte altre cose.

La più grande approvazione dell’idea dell’IA come merce arriva dal CEO di Nvidia Jensen Huang. Al grande evento per sviluppatori dell’azienda, GTC, ha spinto a pensare ai data center come “fabbriche di IA” il cui output sarebbe misurato in quanti token, la più piccola unità di informazione che un LLM utilizza, possono produrre al secondo.

Recentemente, gli equipaggi hanno completato con successo il traino di oltre un miglio sotto il fiume James in Virginia per installare un tubo HDPE da 42 pollici. Questa operazione è stata parte del programma di conversione e trasmissione dell’impianto di trattamento Boat Harbor del Distretto di Igiene delle Hampton Roads.

Il tubo HDPE da 42 pollici è stato installato con successo dopo un lavoro continuo di 39 ore. Questo tubo permetterà di migliorare il sistema di trasmissione dell’impianto di trattamento, garantendo una maggiore efficienza e capacità di gestione delle acque reflue nella zona.

L’operazione di traino sotto il fiume James è stata un successo grazie alla collaborazione e all’esperienza degli equipaggi coinvolti. Questo progetto è solo uno dei tanti passi avanti nel miglioramento dell’infrastruttura idrica della regione, garantendo un servizio più efficiente e affidabile per i residenti e le imprese locali.

La Norvegia sta attualmente conducendo una vera e propria rivoluzione nel settore automobilistico, puntando alla completa transizione verso l’auto elettrica. Le immatricolazioni di veicoli elettrici nel paese sono aumentate in modo significativo, passando dal 1% al 96% in pochi anni. Questo trend è stato favorito da una serie di incentivi governativi, come esenzioni fiscali, parcheggi gratuiti e accesso privilegiato alle corsie preferenziali.

La Norvegia si è posta l’obiettivo ambizioso di diventare il primo paese al mondo a completare la transizione all’auto elettrica, con l’obiettivo di eliminare completamente la vendita di veicoli a combustione entro il 2025. Questa strategia fa parte di un più ampio piano per ridurre le emissioni di gas serra e combattere il cambiamento climatico.

Le infrastrutture di ricarica in Norvegia sono state notevolmente potenziate per supportare l’aumento del numero di veicoli elettrici sulle strade. Il paese vanta una vasta rete di stazioni di ricarica veloci e super veloci, che rendono più conveniente e pratico l’utilizzo di auto elettriche.

La Norvegia si è quindi posta come un esempio di successo nella transizione verso la mobilità sostenibile, dimostrando che è possibile ridurre l’impatto ambientale del settore automobilistico attraverso politiche mirate e incentivi efficaci.

La proposta della Commissione europea prevede un aumento significativo degli investimenti nella difesa comune dell’Unione Europea, con l’obiettivo di rafforzare la capacità di difesa dell’UE e di promuovere la cooperazione tra gli Stati membri. Inoltre, permettere l’utilizzo dei fondi della coesione per la difesa è una novità importante, che potrebbe favorire una maggiore integrazione e solidarietà tra i paesi europei.

È importante sottolineare che la difesa europea è un tema cruciale per affrontare le sfide della sicurezza e della difesa nel contesto attuale, caratterizzato da minacce sempre più complesse e transnazionali. L’Unione Europea sta lavorando per rafforzare la propria capacità di difesa e per garantire la sicurezza dei suoi cittadini.

La decisione di mettere a disposizione 144 miliardi di euro per la difesa dell’UE riflette l’impegno della Commissione europea a sostenere la sicurezza e la difesa comune, e a promuovere la cooperazione tra gli Stati membri in questo settore strategico. Si tratta di un passo importante verso la creazione di una difesa europea più integrata e efficace.

La decisione di limitare l’accesso alla piazza San Pietro a 50 mila persone è stata presa in considerazione anche alla luce delle recenti normative anti-Covid, che impongono restrizioni agli eventi pubblici per evitare la diffusione del virus. Inoltre, la presenza di un numero eccessivo di persone potrebbe compromettere la sicurezza e il benessere dei partecipanti.

La piazza San Pietro è uno dei luoghi più visitati e simbolici di Roma, sede della Basilica di San Pietro e meta di numerosi pellegrini e turisti provenienti da tutto il mondo. La decisione della Questura di limitare l’affluenza a 50 mila persone è stata presa anche per garantire il rispetto del sito e la fruizione ottimale da parte dei visitatori presenti.

È importante sottolineare che la chiusura temporanea della piazza San Pietro con un limite di 50 mila persone non implica la cancellazione dell’evento in corso, ma piuttosto una gestione oculata dell’affluenza per garantire la sicurezza di tutti i partecipanti. Si consiglia quindi a chiunque desideri visitare la piazza di informarsi preventivamente sulle modalità di accesso e di rispettare le indicazioni delle autorità competenti.