위협 행위자들이 ChatGPT의 안전 조치를 우회하기 위해 탈옥 공격을 사용하다

사이버 범죄자들은 ChatGPT와 같은 대형 언어 모델(LLM)에 대해 탈옥 공격을 사용하여 보안을 침해합니다. 불행히도 이 방법은 LLM 출시 2년이 지난 지금도 여전히 사용 가능합니다. 결국 해커들은 자신의 포럼에서 이에 대해 자주 이야기합니다.

위협 행위자들은 ChatGPT에 대한 탈옥 공격을 사용하여 피싱 이메일 및 악성 콘텐츠를 생성할 수 있습니다. 이 해킹 방법을 사용하기 위해 그들은 LLM 보안 시스템을 피하는 방법을 찾았습니다.

ChatGPT 탈옥 공격이 해커 포럼에서 확산되다

Abnormal Security의 최고 정보 보안 책임자인 Mike Britton에 따르면, 탈옥 프롬프트와 AI의 보안을 피하는 전술이 사이버 범죄 포럼에서 널리 퍼져 있습니다. 또한 일부 대화는 특정 프롬프트를 다룹니다. 또한 두 개의 주요 해킹 포럼은 AI 오용을 위한 전용 공간을 가지고 있습니다.

AI는 많은 기능을 가지고 있으며, 범죄자들은 최상의 결과를 얻기 위해 이를 활용하는 방법을 알고 있습니다. 따라서 2023년 Abnormal Security는 AI에 대한 탈옥 공격을 사용하여 생성된 다섯 개의 이메일 캠페인을 발견했습니다. 이를 분석한 보안 팀은 AI가 사회 공학을 사용하고 긴급해 보이는 이메일을 생성할 수 있음을 발견했습니다.

해커들은 이 기회를 이용하여 철자나 문법 오류 없이 정확한 피싱 이메일을 생성할 수 있습니다. 이후 그들은 이를 사용하여 공급업체 사기를 저지르고 비즈니스 이메일을 타협하는 등의 행위를 할 수 있습니다. 게다가 사이버 범죄자들은 AI의 도움으로 대량의 정교한 공격을 생성할 수 있습니다.

Abnormal Security 팀은 이메일을 확인하는 데 도움이 되는 CheckGPT 도구를 출시했습니다. 그러나 안전에 대해 우려하는 기업들은 사이버 전략을 위해 다른 도구를 사용할 수 있습니다.

ChatGPT를 위한 탈옥 프롬프트란 무엇인가?

해커들은 ChatGPT 및 기타 AI 모델이 훈련 범위를 벗어나 행동하도록 설득하기 위해 다양한 프롬프트를 작성합니다. 이것이 탈옥 공격의 본질입니다. 예를 들어, 챗봇에게 -직무 제목-로 행동하라고 요청하면 그에 따라 콘텐츠를 생성합니다. 그러나 그들은 특정 세부사항으로 프롬프트를 구체화합니다. 일부 범죄자들은 ChatBot이 규칙과 규정을 벗어나 작동하는 다른 LLM처럼 행동하도록 만듭니다.

AI를 속여 원하는 대로 행동하게 만드는 방법은 여러 가지가 있습니다. AI가 당신을 테스트하고 있다고 생각하게 만들거나, 모델을 위한 새로운 페르소나를 생성하거나, 번역 프롬프트로 속일 수 있습니다.

또한 AI의 검열 조치를 끄기 위한 프롬프트를 생성할 수 있습니다. 그러나 이를 선의로 사용할 수 있으며, 그렇게 함으로써 새로운 AI 관련 직업인 프롬프트 엔지니어가 되기 위한 훈련을 받을 수 있습니다.

AI는 피싱 공격에 대한 해결책이 될 수 있습니다. 결국, 의심스러운 이메일을 분석하는 데 사용할 수 있습니다. 그러나 곧 조직들은 더 정교한 공격에 대비해야 합니다. 다행히도 OpenAI는 우리를 보호하고 탈옥 공격을 방지하기 위한 새로운 보안 방법을 개발하고 있습니다.

반면에 범죄자들은 다크 웹에서 ChatGPT의 다른 버전을 획득할 수 있습니다.

요약하자면, 해커들은 탈옥 공격을 사용하여 ChatGPT를 속여 그들이 원하는 것을 도와주게 하고 있습니다. 그 결과, 그들은 악성 이메일과 코드를 생성합니다. 또한 AI의 도움으로 더 많은 것을 배우게 됩니다. OpenAI는 새로운 안전 규칙과 기능을 추가하여 그들과 싸우고 있지만, 모든 프롬프트를 검증하고 차단할 수는 없습니다. 따라서 귀하와 귀하의 회사는 이메일을 필터링하고 보호하기 위해 제3자 앱이 필요할 가능성이 높습니다.

당신의 생각은 무엇인가요? ChatGPT의 능력을 사용하여 다른 사람처럼 행동하게 하나요? 댓글로 알려주세요.