Измислена реалност заобикаля защитите на ИИ – нова уязвимост в езиковите модели

Изследователи от екипа Cato CTRL разкриха нова уязвимост в популярни езикови модели, включително ChatGPT-4, DeepSeek-R1/V3 и Microsoft Copilot. Те са разработили техника, наречена "Immersive World", която използва измислена реалност с алтернативни етични норми, за да заобиколи защитите на ИИ.

Как работи?

Достатъчно е в заявка към чатбота подробно да се опише въображаем свят, в който кражбата на данни или хакерски действия се считат за приемливи. Така моделите започват да възприемат този контекст като нормален и предоставят отговори, които иначе биха били блокирани.

Какво показа експериментът?

Използвайки тази техника, изследователите са успели да получат инструкции за създаване на зловреден софтуер – компютърен вирус, който извлича лични данни от браузъра Chrome, инсталиран на над 3 милиарда устройства.

Ръководителят на изследването Виталий Симонович посочва, че това подчертава основен проблем в архитектурата на ИИ – стремежът да бъде полезен на всяка цена, дори когато заявките са опасни, но представени в различен контекст.

Какви са рисковете?

Тази техника позволява на хора без техническо образование да създават вреден код с помощта на изкуствен интелект. Това отваря пътя за нова вълна от киберпрестъпници, които използват ИИ като инструмент за атаки.

Изследването подчертава необходимостта от по-ефективна защита и преосмисляне на контекста, в който езиковите модели вземат решения.

Източник: trud.bg