Attori delle minacce utilizzano attacchi jailbreak su ChatGPT per violare le misure di sicurezza

I criminali informatici utilizzano attacchi jailbreak su modelli di linguaggio di grandi dimensioni (LLM), come ChatGPT, per violare la loro sicurezza. Sfortunatamente, il metodo è utilizzabile anche ora, due anni dopo il rilascio dell’LLM. Dopotutto, gli hacker ne parlano comunemente nei loro forum.

Gli attori delle minacce possono utilizzare attacchi jailbreak su ChatGPT per generare email di phishing e contenuti dannosi. Per utilizzare questo metodo di hacking, hanno trovato modi per evitare il sistema di sicurezza dell’LLM.

Gli attacchi jailbreak a ChatGPT proliferano nei forum degli hacker

Secondo Mike Britton, chief information security officer di Abnormal Security, i prompt e le tattiche jailbreak per evitare la sicurezza dell’AI sono prevalenti nei forum di crimine informatico. Inoltre, alcune conversazioni trattano prompt specifici. Inoltre, due importanti forum di hacking hanno spazi dedicati all’abuso dell’AI.

L’AI ha molte funzionalità e i trasgressori sanno come sfruttarle per ottenere i migliori risultati. Così, nel 2023, Abnormal Security ha scoperto cinque campagne email generate utilizzando attacchi jailbreak sull’AI. Analizzandole, il team di sicurezza ha scoperto che l’AI può utilizzare l’ingegneria sociale e creare email che sembrano urgenti.

Gli hacker possono sfruttare questa opportunità per generare email di phishing accurate senza errori di ortografia o grammatica. Successivamente, possono utilizzarle per commettere frodi con i fornitori, compromettere email aziendali e altro ancora. Inoltre, i criminali informatici possono creare attacchi sofisticati in grandi volumi con l’aiuto dell’AI.

Il team di Abnormal Security ha rilasciato lo strumento CheckGPT per aiutarti a verificare le email. Tuttavia, le aziende preoccupate per la sicurezza potrebbero utilizzare altri strumenti per la loro strategia informatica.

Cosa sono i prompt jailbreak per ChatGPT?

Gli hacker scrivono diversi prompt per convincere ChatGPT e altri modelli di AI ad agire al di fuori della loro formazione. Questa è l’essenza degli attacchi jailbreak. Ad esempio, puoi chiedere a un chatbot di agire come un -titolo di lavoro- e genererà contenuti di conseguenza. Tuttavia, elaborano prompt con dettagli specifici. Alcuni trasgressori fanno agire il ChatBot come un altro LLM che opera al di fuori delle sue regole e regolamenti.

Ci sono molteplici modi per ingannare l’AI per farle fare ciò che vuoi. Puoi farle credere che la stai testando, creare una nuova persona per il modello e ingannarla con prompt di traduzione.

Inoltre, puoi generare prompt per disattivare le sue misure di censura. Tuttavia, puoi usarli per il bene e, facendo così, puoi allenarti a diventare un ingegnere di prompt, che è un nuovo lavoro legato all’AI.

L’AI potrebbe essere la soluzione agli attacchi di phishing. Dopotutto, puoi usarla per analizzare email sospette. Eppure, presto, le organizzazioni dovrebbero prepararsi a attacchi più sofisticati. Fortunatamente, OpenAI sta lavorando a nuovi metodi di sicurezza per proteggerci e prevenire attacchi jailbreak.

D’altra parte, i trasgressori possono acquisire altre versioni di ChatGPT dal dark web.

In sintesi, gli hacker stanno utilizzando attacchi jailbreak per ingannare ChatGPT e farlo aiutare. Di conseguenza, generano email e codice dannosi. Inoltre, possono imparare a fare molto di più con l’aiuto dell’AI. Mentre OpenAI sta combattendo contro di loro aggiungendo nuove regole e funzionalità di sicurezza, non possono verificare e vietare tutti i prompt. Quindi, tu e la tua azienda avrete probabilmente bisogno di app di terze parti per filtrare e proteggere le vostre email.

Quali sono i tuoi pensieri? Utilizzi la capacità di ChatGPT di agire come qualcun altro? Facci sapere nei commenti.