Atores de ameaças usam ataques de jailbreak no ChatGPT para violar medidas de segurança
Cibercriminosos usam ataques de jailbreak em grandes modelos de linguagem (LLMs), como o ChatGPT, para violar sua segurança. Infelizmente, o método é utilizável mesmo agora, dois anos após o lançamento do LLM. Afinal, os hackers costumam falar sobre isso em seus fóruns.
Atores de ameaças podem usar ataques de jailbreak no ChatGPT para gerar e-mails de phishing e conteúdo malicioso. Para usar esse método de hacking, eles encontraram maneiras de evitar o sistema de segurança do LLM.
Ataques de jailbreak no ChatGPT proliferam em fóruns de hackers
De acordo com Mike Britton, diretor de segurança da informação da Abnormal Security, prompts de jailbreak e táticas para evitar a segurança da IA são prevalentes em fóruns de cibercrime. Além disso, algumas conversas cobrem prompts específicos. Também, dois grandes fóruns de hacking têm espaços dedicados ao uso indevido da IA.
A IA tem muitos recursos, e os infratores sabem como explorá-los para obter os melhores resultados. Assim, em 2023, a Abnormal Security descobriu cinco campanhas de e-mail geradas usando ataques de jailbreak na IA. Ao analisá-las, a equipe de segurança descobriu que a IA pode usar engenharia social e criar e-mails que parecem urgentes.
Hackers podem usar essa oportunidade para gerar e-mails de phishing precisos, sem erros de ortografia ou gramática. Depois, eles podem usá-los para cometer fraudes com fornecedores, comprometer e-mails comerciais e mais. Além disso, cibercriminosos podem criar ataques sofisticados em grandes volumes com a ajuda da IA.
A equipe da Abnormal Security lançou a ferramenta CheckGPT para ajudar você a verificar e-mails. No entanto, empresas preocupadas com a segurança podem usar outras ferramentas para sua estratégia cibernética.
Quais são os prompts de jailbreak para o ChatGPT?
Hackers escrevem diferentes prompts para convencer o ChatGPT e outros modelos de IA a agir fora de seu treinamento. Essa é a essência dos ataques de jailbreak. Por exemplo, você pode pedir a um chatbot para agir como um -cargo- e ele gerará conteúdo de acordo. No entanto, eles elaboram prompts com detalhes específicos. Alguns infratores fazem o ChatBot agir como outro LLM que opera fora de suas regras e regulamentos.
Existem várias maneiras de enganar a IA para fazer o que você quer. Você pode fazê-la pensar que está testando-a, criar uma nova persona para o modelo e enganá-la com prompts de tradução.
Além disso, você pode gerar prompts para desligar suas medidas de censura. No entanto, você pode usá-los para o bem, e ao fazer isso, pode treinar para se tornar um engenheiro de prompts, que é um novo trabalho relacionado à IA.
A IA poderia ser a solução para ataques de phishing. Afinal, você pode usá-la para analisar e-mails suspeitos. No entanto, em breve, as organizações devem se preparar para ataques mais sofisticados. Felizmente, a OpenAI está trabalhando em novos métodos de segurança para nos proteger e prevenir ataques de jailbreak.
Por outro lado, infratores podem adquirir outras versões do ChatGPT na dark web.
Em resumo, hackers estão usando ataques de jailbreak para enganar o ChatGPT e ajudá-los. Como resultado, eles geram e-mails e códigos maliciosos. Além disso, eles podem aprender a fazer muito mais com a ajuda da IA. Enquanto a OpenAI está lutando contra eles, adicionando novas regras e recursos de segurança, eles não conseguem verificar e banir todos os prompts. Portanto, você e sua empresa provavelmente precisarão de aplicativos de terceiros para filtrar e proteger seus e-mails.
Quais são seus pensamentos? Você usa a capacidade do ChatGPT de agir como outra pessoa? Deixe-nos saber nos comentários.
