脅威アクターがChatGPTの脱獄攻撃を利用して安全対策を突破

脅威アクターが脱獄攻撃を使用してChatGPTの安全対策を回避サイバー犯罪者は、ChatGPTのような大規模言語モデル（LLM）に対して脱獄攻撃を使用して、そのセキュリティを突破します。残念ながら、この手法はLLMのリリースから2年経った今でも使用可能です。結局のところ、ハッカーは自分たちのフォーラムでこれについてよく話しています。

脅威アクターは、ChatGPTに対して脱獄攻撃を使用してフィッシングメールや悪意のあるコンテンツを生成できます。このハッキング手法を使用するために、彼らはLLMのセキュリティシステムを回避する方法を見つけました。

ChatGPTの脱獄攻撃がハッカーフォーラムで広がる

Abnormal Securityの最高情報セキュリティ責任者であるマイク・ブリットンによると、脱獄プロンプトやAIのセキュリティを回避する戦術はサイバー犯罪フォーラムで広まっています。さらに、一部の会話では特定のプロンプトが取り上げられています。また、2つの主要なハッカーフォーラムにはAIの悪用専用のスペースがあります。

AIには多くの機能があり、悪事を働く者たちはそれらを最適な結果を得るために利用する方法を知っています。したがって、2023年にAbnormal Securityは、AIに対する脱獄攻撃を使用して生成された5つのメールキャンペーンを発見しました。それらを分析することで、セキュリティチームはAIがソーシャルエンジニアリングを使用し、緊急に見えるメールを作成できることを発見しました。

ハッカーはこの機会を利用して、スペルや文法の間違いのない正確なフィッシングメールを生成できます。その後、彼らはそれを使用してベンダー詐欺を行ったり、ビジネスメールを侵害したりすることができます。さらに、サイバー犯罪者はAIの助けを借りて高ボリュームで洗練された攻撃を作成できます。

Abnormal Securityチームは、メールを検証するためのCheckGPTツールをリリースしました。しかし、安全性を懸念する企業は、サイバー戦略のために他のツールを使用するかもしれません。

ChatGPTの脱獄プロンプトとは？

ハッカーは、ChatGPTや他のAIモデルにトレーニングの枠を超えて行動させるために、さまざまなプロンプトを書きます。これが脱獄攻撃の本質です。たとえば、チャットボットに-職業名-として行動するように頼むと、それに応じたコンテンツを生成します。しかし、彼らは特定の詳細を含むプロンプトを詳述します。一部の悪事を働く者は、ChatBotにそのルールや規制の外で動作する別のLLMとして行動させます。

AIを騙して自分の望むことをさせる方法は複数あります。テストしていると思わせたり、モデルのために新しいペルソナを作成したり、翻訳プロンプトで騙したりすることができます。

さらに、AIの検閲措置をオフにするプロンプトを生成することもできます。しかし、これらを善のために使用することもでき、その結果、プロンプトエンジニアとしての新しいAI関連の職業を学ぶことができます。

AIはフィッシング攻撃の解決策となる可能性があります。結局のところ、疑わしいメールを分析するために使用できます。しかし、すぐに組織はより洗練された攻撃に備える必要があります。幸いなことに、OpenAIは私たちを保護し、脱獄攻撃を防ぐための新しいセキュリティ手法に取り組んでいます。

一方で、悪事を働く者たちはダークウェブからChatGPTの他のバージョンを入手することができます。

要するに、ハッカーは脱獄攻撃を使用してChatGPTを騙し、彼らを助けるようにしています。その結果、彼らは悪意のあるメールやコードを生成します。さらに、AIの助けを借りて、もっと多くのことを学ぶことができます。OpenAIは新しい安全ルールや機能を追加することで彼らと戦っていますが、すべてのプロンプトを検証して禁止することはできません。したがって、あなたやあなたの会社は、メールをフィルタリングして保護するためにサードパーティのアプリが必要になる可能性が高いです。

あなたの考えはどうですか？ChatGPTの他の誰かのように行動する能力を使用していますか？コメントでお知らせください。