Un nuovo attacco chiamato cryptographic context injection permette di aggirare le protezioni di Grok e di esfiltrare chat e dati personali degli utenti tramite istruzioni malevole cifrate. La vulnerabilità, segnalata a giugno, resta ancora attiva.
Un gruppo di ricercatori ha individuato una nuova tecnica di attacco, denominata cryptographic context injection, che consente di aggirare le barriere di sicurezza di Grok, l'assistente AI di xAI, per sottrarre conversazioni e informazioni personali degli utenti. L'attacco sfrutta istruzioni malevole cifrate, che il modello esegue senza attivare i filtri di sicurezza.
Come funziona l'attacco cryptographic context injection
La tecnica si basa sulla tendenza dei modelli linguistici di grandi dimensioni (LLM) a seguire le richieste dell'utente, anche quando queste sono nascoste all'interno di contenuti apparentemente innocui, come email o pagine web da riassumere. In questo caso, l'attaccante inserisce un'istruzione cifrata nella pagina, accompagnata da indicazioni in chiaro su come decifrarla e dalla chiave di decrittazione. Quando l'utente chiede a Grok di riassumere la pagina, il modello esegue la decrittazione e segue le istruzioni nascoste, che possono ordinargli di raccogliere dati sensibili come nome, posizione e cronologia chat, inviandoli poi a un sito controllato dall'attaccante.
Perché i filtri di sicurezza vengono aggirati
Secondo Rony Utevsky di Adversa, i filtri di Grok analizzano solo il testo in ingresso e in uscita, ma non il risultato dell'esecuzione di codice interno. Le istruzioni per decifrare il testo cifrato (ad esempio tramite PBKDF2 e AES-256-GCM) passano i controlli perché appaiono come richieste ordinarie. Una volta decifrato, il comando malevolo viene eseguito dal modello senza ulteriori verifiche, permettendo così l'esfiltrazione dei dati. Utevsky sottolinea che i cosiddetti guardrail statici non eseguono codice né decifrano contenuti, lasciando così una falla sfruttabile dagli attaccanti.
Implicazioni e rischi per la sicurezza degli LLM
La stessa tecnica è stata usata anche contro Gemini di Google, riuscendo a far ignorare al modello le proprie regole di sicurezza interne. Adversa avverte che il cryptographic context injection rappresenta solo un esempio di una superficie d'attacco più ampia, che coinvolge non solo i prompt ma anche output di strumenti, risultati di runtime e stati intermedi dei modelli. Finché i sistemi di difesa si limiteranno a bloccare singole istruzioni sospette senza affrontare la vulnerabilità di fondo, gli attaccanti continueranno a trovare nuove vie per aggirare le protezioni.
Risposta delle aziende e stato attuale
Nonostante la segnalazione a xAI risalga a giugno, Grok risulta ancora vulnerabile a questo tipo di attacco. Nel caso di Gemini, invece, la resistenza sembra essere aumentata nelle ultime settimane, probabilmente grazie ad aggiornamenti dei filtri o del modello. Tuttavia, la difficoltà di risolvere alla radice il problema delle prompt injection resta una sfida aperta per tutti i principali sviluppatori di LLM.
