Nei test del progetto, l'accelerazione GPU porta Qwen3.8-27B da circa un token al minuto sulla CPU a una ventina al secondo. Servono firmware compatibile e jailbreak, con rischi per stabilità e accesso a PlayStation Network.
PS5LM è nato per eseguire modelli GGUF sulla CPU di una PlayStation 5 jailbroken. Senza accesso alla GPU, Qwen3.8-27B impiega circa un minuto per generare un token. Con l'accelerazione grafica arriva a circa 20 al secondo.
Il progetto è un port open source di llama.cpp per console jailbroken, creato inizialmente da Mert Cobanov. La successiva versione PS5LM Plus, associata ad Abhiram (abhi245y), aggiunge un'app nativa con interfaccia per la TV. Offre anche una libreria di modelli e un'API compatibile con OpenAI. Il progetto è descritto nel repository di PS5LM.
PS5LM Plus usa il backend Vulkan di llama.cpp e il driver Mesa RADV, portato su PS5 da Mihawk-99. È un percorso sviluppato dalla community per utilizzare la GPU, non una funzione ufficiale di Sony. L'app integra llama-server: altri dispositivi sulla stessa rete locale possono inviare richieste attraverso l'API compatibile con OpenAI.
I risultati cambiano in base al formato del modello e alla configurazione del contesto. Nei benchmark del progetto, due versioni quantizzate hanno raggiunto circa 20,3 e 20,7 token al secondo. Per una configurazione Qwen 3.8 27B UD-Q2_K_XL, i log degli sviluppatori riportano circa 9,2 GiB, contesto 32K e cache q4_0. In un test con una risposta di 7.775 token, la velocità indicata è stata di circa 19,7 token al secondo. Sono misurazioni interne al progetto, non test di laboratorio indipendenti.
La GPU cambia il risultato
PS5LM adatta llama.cpp alla console e usa Vulkan per accedere alla GPU. Secondo quanto riportato da allnight.city, lo stesso modello sulla CPU ha ottenuto circa un token al minuto. In quel test la GPU risultava al 100% di utilizzo; il system-on-chip consumava circa 86 watt e la temperatura della GPU si aggirava intorno ai 54 °C.
Con modelli più piccoli, le velocità aumentano. La documentazione di PS5LM Plus indica circa 61 token al secondo per Gemma 4 E4B e fino a circa 124 per Llama 3.2 3B. La versione Plus include una dashboard pensata per la TV e una libreria di modelli sulla console. Mette inoltre a disposizione un'API compatibile con OpenAI, accessibile agli altri dispositivi della rete locale.
Il tema dell'hardware compatto torna anche nel mini PC ROG NUC 16 di ASUS. In questo caso, però, l'esperimento sfrutta la GPU già presente nella console. Un post su X di Vaibhav Sisinty ha rilanciato il confronto tra CPU e GPU; la sua affiliazione al gruppo di sviluppo di PS5LM non è stata accertata.
Firmware e memoria impongono limiti
Una console standard non basta. Per usare PS5LM servono un jailbreak e un caricatore di payload. Occorre anche un firmware compatibile, in genere dalla versione 7.00 alla 13.60. Dei 16 GB di memoria unificata della PS5, una parte è occupata dal sistema operativo e dall'ambiente grafico. La documentazione di PS5LM Plus indica circa 12 GiB di memoria direttamente disponibili e un heap GPU di circa 11,44 GiB. I file dei modelli testati pesavano circa 6,8 e 9,2 GiB. Durante l'esecuzione serve più memoria, anche per via delle cache di contesto.
La quantizzazione riduce la memoria richiesta e può accelerare l'inferenza comprimendo i pesi del modello. La qualità delle risposte e del ragionamento può però peggiorare rispetto alla versione a precisione piena. L'effetto varia in base al modello, al metodo e al compito. Anche la lunghezza del contesto e la temperatura possono modificare le prestazioni; lo stesso vale per le attività in background. Il risultato di circa 20 token al secondo riguarda quindi una configurazione precisa. Non si estende automaticamente ad altre quantizzazioni o a contesti più lunghi.
Circa 20 token al secondo non trasformano la console in una workstation AI: memoria e software restano vincoli importanti. Il jailbreak può esporre a vulnerabilità di sicurezza e instabilità del sistema. Può comportare la perdita dell'accesso a PlayStation Network o la decadenza della garanzia. In base alla giurisdizione, può anche creare conflitti con i termini della piattaforma o con le leggi locali.
Il progetto mostra le prestazioni della GPU della PS5 quando gli sviluppatori homebrew riescono ad accedere direttamente all'hardware. Un aggiornamento firmware di Sony potrebbe chiudere o restringere la finestra di jailbreak attualmente utilizzabile.
