Злоумышленники используют атаки jailbreak на ChatGPT для обхода мер безопасности

Киберпреступники используют атаки jailbreak на больших языковых моделях (LLMs), таких как ChatGPT, для обхода их безопасности. К сожалению, этот метод все еще используется даже сейчас, через два года после выпуска LLM. В конце концов, хакеры часто обсуждают это на своих форумах.

Злоумышленники могут использовать атаки jailbreak на ChatGPT для генерации фишинговых писем и вредоносного контента. Чтобы использовать этот метод взлома, они нашли способы избежать системы безопасности LLM.

Атаки jailbreak на ChatGPT proliferate на форумах хакеров

Согласно Майку Бриттону, главному специалисту по информационной безопасности в Abnormal Security, подсказки для jailbreak и тактики обхода безопасности ИИ распространены на форумах киберпреступности. Кроме того, некоторые обсуждения касаются конкретных подсказок. Также на двух крупных форумах хакеров есть специальные разделы для злоупотребления ИИ.

ИИ имеет много функций, и злоумышленники знают, как использовать их для достижения наилучших результатов. Таким образом, в 2023 году Abnormal Security обнаружила пять кампаний по электронной почте, сгенерированных с помощью атак jailbreak на ИИ. Анализируя их, команда безопасности обнаружила, что ИИ может использовать социальную инженерию и создавать письма, которые кажутся срочными.

Хакеры могут использовать эту возможность для генерации точных фишинговых писем без ошибок в написании или грамматике. После этого они могут использовать их для совершения мошенничества с поставщиками, компрометации бизнес-электронной почты и многого другого. Более того, киберпреступники могут создавать сложные атаки в больших объемах с помощью ИИ.

Команда Abnormal Security выпустила инструмент CheckGPT, чтобы помочь вам проверять электронные письма. Однако компании, обеспокоенные безопасностью, могут использовать другие инструменты для своей киберстратегии.

Что такое подсказки jailbreak для ChatGPT?

Хакеры пишут различные подсказки, чтобы убедить ChatGPT и другие модели ИИ действовать вне их обучения. В этом и заключается суть атак jailbreak. Например, вы можете попросить чат-бота действовать как -должность-, и он сгенерирует контент соответственно. Однако они разрабатывают подсказки с конкретными деталями. Некоторые злоумышленники заставляют ChatBot действовать как другая LLM, которая работает вне своих правил и норм.

Существует множество способов обмануть ИИ, чтобы он делал то, что вы хотите. Вы можете заставить его думать, что вы его тестируете, создать новую личность для модели и обмануть его с помощью подсказок перевода.

Кроме того, вы можете генерировать подсказки, чтобы отключить его меры цензуры. Однако вы можете использовать их во благо, и, делая это, вы можете тренироваться, чтобы стать инженером подсказок, что является новой работой, связанной с ИИ.

ИИ может быть решением для фишинговых атак. В конце концов, вы можете использовать его для анализа подозрительных писем. Тем не менее, вскоре организациям следует подготовиться к более сложным атакам. К счастью, OpenAI работает над новыми методами безопасности, чтобы защитить нас и предотвратить атаки jailbreak.

С другой стороны, злоумышленники могут получить другие версии ChatGPT с темного веба.

В двух словах, хакеры используют атаки jailbreak, чтобы обмануть ChatGPT и заставить его помочь им. В результате они генерируют вредоносные письма и код. Кроме того, они могут узнать, как делать гораздо больше с помощью ИИ. Хотя OpenAI борется с ними, добавляя новые правила и функции безопасности, они не могут проверить и забанить все подсказки. Поэтому вам и вашей компании, вероятно, понадобятся сторонние приложения для фильтрации и защиты вашей электронной почты.

Что вы думаете? Используете ли вы способность ChatGPT действовать как кто-то другой? Дайте нам знать в комментариях.