Nei test d'inferenza a contesto breve, la RTX PRO 4500 ha eguagliato o superato la L40S con meno della metà della potenza nominale. Le richieste lunghe mettono in luce il limite dei 32 GB di memoria.
Nei test a contesto breve, la NVIDIA RTX PRO 4500 Blackwell Server Edition ha raggiunto o superato la L40S pur avendo una potenza nominale di 165 W, contro i 350 W della scheda più grande. Il vantaggio cala quando crescono la lunghezza delle richieste e la concorrenza: i 32 GB di memoria della 4500 limitano lo spazio per la KV cache.
Il risultato la colloca in una fascia precisa: accelerare modelli piccoli e medi nei server con vincoli di potenza e spazio, senza la capacità di memoria delle GPU di fascia superiore.
La scheda dispone di 32 GB di GDDR7 con ECC e una larghezza di banda di 800 GB/s. Le specifiche pubblicate da GIGABYTE indicano 10.496 CUDA core e 82 RT core di quarta generazione. La GPU raggiunge fino a 51 TFLOPS FP32 e fino a 406 TFLOPS FP16/BF16 Tensor Core. GIGABYTE la descrive come una scheda a slot singolo da 165 W per carichi AI. La indica anche per data science e vision AI, con configurazioni fino a otto GPU in sistemi 4U.
La memoria separa i test brevi da quelli lunghi
Con input e output da 512 token e concorrenza 32, la 4500 ha prodotto 1.107 token/s con Ministral 3 14B FP8, contro i 995 della L40S. Sul modello Ministral 3 8B BF16 ha registrato 1.017 token/s, a fronte dei 1.005 della L40S.
Con Ministral 3 3B BF16 ha raggiunto 2.006 token/s, appena sopra i 1.988 della L40S. Rispetto alla L4, la 4500 è stata da 2,8 a 3,6 volte più veloce, con una potenza nominale pari a 2,3 volte quella della L4.
Con input da 8.192 token e output da 1.024, il quadro cambia. A concorrenza 32 la 4500 è rimasta dal 17% al 33% indietro rispetto alla L40S. Sui modelli da 8B e 14B, la sua curva si è appiattita a concorrenza 8; la L40S ha continuato a scalare fino a 16.
Basata sull'architettura Ada Lovelace, la L40S dispone di 48 GB di GDDR6 e una larghezza di banda di 864 GB/s. I 16 GB aggiuntivi offrono più spazio per tenere in memoria le richieste lunghe e la KV cache.
Con richieste brevi, la differenza di memoria pesa meno. Nei flussi RAG su documenti il limite della scheda diventa operativo. Lo stesso vale per gli agenti con ampi output degli strumenti e per i carichi multiutente.
Blackwell compatta per server con limiti di spazio
La RTX PRO 4500 Server Edition è una scheda passiva a slot singolo da 165 W, con 32 GB di GDDR7 ECC e banda di memoria di 800 GB/s. Integra 10.496 CUDA core e 328 Tensor Core. Supporta MIG per un massimo di due istanze isolate da 16 GB.
La scheda ha tre motori NVENC e tre NVDEC. Supporta vGPU 20 e non dispone di uscite video.
È una scheda full-height e full-length, che richiede un connettore di alimentazione PCIe CEM5 a 16 pin e un flusso d'aria adeguato. Non sostituisce direttamente una L4 in ogni sistema: potrebbe non entrare negli chassis 1U progettati per schede più corte o privi del connettore necessario.
La larghezza a slot singolo può invece consentire a un server 2U progettato per quattro GPU doppio slot di ospitarne otto. GIGABYTE indica configurazioni fino a quattro GPU anche su piattaforme 2U. MSI, per esempio, descrive il sistema CG290-S3063 come una piattaforma MGX 2U che supporta fino a quattro GPU.
In un precedente test sul server HPE ProLiant DL145 Gen11, la 4500 aveva ottenuto 2,7 volte il throughput della L4. I risultati di quel test edge offrivano già un confronto diretto per l'inferenza su sistemi compatti.
FP4 potente sulla carta, ma legato al software
La prova MAMF, che misura il throughput sostenuto delle operazioni dense di matrice, ha registrato 135,9 TFLOPS in BF16 e 280,1 in FP8. In NVFP4 il risultato è stato di 568,6 TFLOPS.
Quel dato mostra una capacità hardware significativa, ma il test di servizio con Qwen3.8-27B NVFP4 non l'ha trasformata in un vantaggio. A concorrenza 32, la 4500 ha raggiunto 320 token/s, contro i 480 della L40S. La RTX PRO 6000 limitata a 450 W ha registrato 621 token/s.
La L40S non dispone di Tensor Core FP4 e, nel percorso vLLM testato, ha calcolato a precisione superiore dopo la dequantizzazione. Eppure ha superato la 4500. Anche la RTX PRO 6000 ha ottenuto prestazioni quasi identiche a 450 W e 600 W. I risultati indicano che l'implementazione software NVFP4 usata nella prova non ha sfruttato efficacemente la capacità hardware. Chi valuta l'inferenza FP4 dovrebbe verificare il comportamento del proprio stack prima di stimare il throughput.
Le prove sono state eseguite con vLLM 0.27.1 e CUDA 13.4.1. I test di efficienza confrontano i risultati con i limiti di potenza nominali, non con consumi misurati. Su Ministral 3 14B FP8 a concorrenza 32, la 4500 ha registrato 6,7 token/s per watt nominale, contro i 2,8 della L40S.
StorageReview ha assegnato alla RTX PRO 4500 Blackwell Server Edition la designazione Best Single-Slot GPU nella propria classifica delle GPU enterprise.
