Nvidia ha presentato l'architettura Groq 3 LPX e pubblicato il primo benchmark indipendente: il nuovo rack, basato sul chip LP30 acquisito da Groq, supera di quattro volte i rivali nell'inferenza AI, ma la strategia solleva interrogativi su capacità, trasparenza e concorrenza.
Un dato secco ha scosso la platea di Hot Chips 2026: 3.431 token al secondo su un carico di lavoro Gemma 4 31B a 100.000 token di contesto. Artificial Analysis, primo soggetto indipendente a testare il nuovo rack Groq 3 LPX di Nvidia, ha certificato una velocità d'inferenza quattro volte superiore rispetto al miglior endpoint pubblico. Nvidia, che ha inglobato Groq con un'operazione da 20 miliardi di dollari, ha così messo in vetrina la sua nuova arma per l'AI generativa.
La presentazione, affidata a Igor Arsovski - ex chief architect di Groq e ora VP hardware Nvidia - ha segnato un passaggio di consegne simbolico: la tecnologia Groq, nata fuori da Nvidia, ora è il cuore della sua strategia per l'inferenza. Il rack LPX, già in produzione, si basa sul chip LP30, frutto dell'accordo che ha anche spinto Nvidia a cancellare dal proprio piano il Rubin CPX, acceleratore GDDR7 per contesti lunghi.
Numeri, limiti e prove: la realtà dietro i benchmark
Artificial Analysis ha condotto il test su un endpoint privato Gemma 4 31B pre-release su Google Cloud, con 50 richieste sequenziali e una sola in contemporanea, mentre i concorrenti erano misurati su endpoint pubblici multi-tenant. Questo significa che il dato di Nvidia rappresenta il massimo teorico per utente singolo, non direttamente confrontabile con le condizioni reali dei rivali. Sul palco, Nvidia ha mostrato un valore ancora più alto - 10.996 token al secondo - ma Arsovski ha subito precisato che si tratta di un dato "self-reported", sottolineando la necessità di benchmark indipendenti e affidabili.
Il modello Gemma 4 31B, denso ma compatto, entra in un solo rack LPX. Ma la questione della scalabilità su modelli mixture-of-experts da trilioni di parametri - dove la capacità di memoria è il vero collo di bottiglia - resta aperta e non affrontata pubblicamente.
Architettura Groq 3 LPX: SRAM, determinismo e compromessi
Ogni chip LP30 integra circa 500 MB di SRAM on-die e nessuna HBM: un rack LPX da 256 chip offre 128 GB di memoria e 40 PB/s di banda, con 315 PFLOPS di calcolo FP8 e una latenza chip-to-chip di 350 ns. L'architettura, discendente diretta del Tensor Streaming Processor descritto da Groq nel 2020, elimina cache, branch prediction ed esecuzione out-of-order per una pipeline completamente deterministica, programmata dal compilatore a livello di singolo ciclo di clock.
La scelta di tenere i pesi modello residenti in SRAM, invece che in HBM, abbatte la latenza di accesso memoria che penalizza la decodifica token singolo. Ma il prezzo è la capacità: una GPU Rubin offre 288 GB di HBM4, 576 volte la memoria di un singolo LP30. Per un modello da 31 miliardi di parametri servono almeno 62 LPUs, mentre i modelli mixture-of-experts richiedono migliaia di chip su più rack. Nvidia, infatti, posiziona l'LPU come co-processore di decodifica, non come sostituto universale delle GPU.
Il determinismo consente al compilatore di prevedere il consumo energetico ciclo per ciclo, permettendo di preordinare la corrente dai regolatori del rack e ridurre il droop di tensione oltre il 60% e l'overshoot oltre il 70%. La stessa granularità di scheduling consente di bilanciare il calore tra i blocchi, ottenendo un 10-11% di prestazioni aggiuntive a parità di limite termico. Arsovski ha spiegato: "Così possiamo sfruttare meglio il chip sotto lo stesso limite termico, guadagnando ancora un 10-11% di performance."
Sinergie, divisione del lavoro e concorrenza
Nvidia propone il rack LPX come co-processore di decodifica da affiancare a Vera Rubin NVL72: le GPU Rubin gestiscono la fase di prefill e la costruzione della cache KV, mentre le LPU generano i token di output. Tre le modalità di suddivisione del lavoro: prefill e decode disaggregati; disaggregazione attention-FFN (con attention e cache su GPU e feed-forward su LPU); speculative decoding esterno, dove un modello piccolo su LPU propone token che la GPU verifica in parallelo.
Un FPGA funge da ponte tra il dominio sincrono delle LPU e il mondo asincrono di I/O host e GPU, mentre il runtime Dynamo e un'estensione CUDA orchestrano la divisione. Nvidia stima un guadagno di 3-5 volte rispetto a Rubin puro su workload da 2 trilioni di parametri e 400.000 token di contesto, ma si tratta di dati interni non ancora verificati da terzi.
La concorrenza non resta a guardare. Cerebras, nello stesso evento, ha presentato il sistema wafer-scale CS4, dichiarando prestazioni fino a 30 volte superiori alle GPU e una banda memoria di 43 PB/s, "2.000 volte quella della Rubin di nuova generazione", secondo il chief architect Jean-Philippe Fricker. Cerebras ha anche siglato un accordo con AMD per abbinare le GPU Helios alla propria piattaforma per la fase di prefill, replicando la strategia di divisione del lavoro che Nvidia ora internalizza con Groq.
Strategia Nvidia: acquisizione, regolatori e trasparenza
L'acquisizione di Groq da parte di Nvidia è stata strutturata come licenza IP non esclusiva e assunzione di personale chiave, tra cui il fondatore Jonathan Ross e il presidente Sunny Madra, evitando così la revisione formale dell'antitrust. Arsovski ha definito la presentazione "un momento da pizzicarsi per il team Groq ora integrato in Nvidia".
Non tutti, però, sono convinti della trasparenza dell'operazione. I senatori Elizabeth Warren e Richard Blumenthal hanno scritto a FTC e Nvidia a inizio 2026, sostenendo che l'accordo abbia acquisito Groq "in tutto tranne che nel nome". Al momento, però, nessuna indagine formale è stata confermata.
La rapidità con cui Nvidia ha integrato la tecnologia Groq e rimosso dal mercato la propria soluzione Rubin CPX ricorda la velocità con cui, come riportato in altri casi, le grandi aziende tech sanno cambiare rotta quando la posta in gioco è la leadership di mercato.
La corsa all'inferenza AI si gioca ora su due fronti: da un lato, la promessa di prestazioni record e pipeline deterministiche; dall'altro, i limiti strutturali di capacità e la necessità di prove indipendenti. Nvidia ha scelto la via della specializzazione estrema, sacrificando la flessibilità per la velocità, e ha imposto il proprio ritmo a un settore che fatica a tenere il passo. Ma senza trasparenza sui benchmark e con una strategia di acquisizione che aggira i controlli, la domanda resta: chi controllerà davvero il futuro dell'inferenza AI - e a quali condizioni di apertura e concorrenza?
