Чат-бот ChatGPT може створювати серйозні ризики для безпеки користувачів, надаючи неправильні, а іноді й фішингові, URL-адреси на запити про офіційні сайти великих компаній. Цю вразливість вже активно використовують зловмисники. Про це повідомляє видання The Register з посиланням на дослідження компанії з кібербезпеки Netcraft.
Третина посилань є невірними
Дослідження показало, що тестована модель GPT-4.1 вказувала правильні адреси сайтів відомих брендів лише у 66% випадків. Решта 34% посилань виявилися некоректними. З них 29% вели на неактивні або видалені домени, а 5% — на сайти, що не відповідали запиту. В одному з випадків на запит про офіційний сайт банку Wells Fargo чат-бот надав посилання на фішинговий сайт, що імітував банк.
Як працює шахрайська схема
Керівник напрямку загроз Netcraft Роб Данкан пояснив, що шахраї можуть використовувати цю слабкість ШІ. Вони перевіряють, які саме помилкові URL генерує модель, реєструють ці вільні домени, а потім створюють на них фальшиві сайти для крадіжки даних користувачів, які довірилися відповіді чат-бота.
Причина проблеми полягає в тому, що великі мовні моделі орієнтуються на текстові асоціації та ймовірність, а не на реальну перевірку достовірності посилань.
Зростання ризиків та складніші атаки
Експерти зазначають, що зростання популярності ШІ-чатів як альтернативи традиційним пошуковим системам лише посилює цей ризик, адже користувачі не завжди усвідомлюють, що відповіді ШІ можуть бути неточними.
Дослідження також виявило складніші схеми. Наприклад, шахраї створили цілу екосистему фейкового контенту (репозиторії на GitHub, інструкції, акаунти в соцмережах) для того, щоб переконати мовну модель у легітимності шкідливого програмного коду для блокчейну Solana. У результаті ШІ міг рекомендувати цей небезпечний ресурс своїм користувачам. Netcraft закликає розробників терміново покращити механізми валідації URL-адрес у своїх ШІ-моделях.
Чому це важливо
Це дослідження викриває фундаментальну слабкість поточного покоління ШІ-моделей, яка стає дедалі небезпечнішою в міру їхньої інтеграції в наше повсякденне життя. Воно слугує важливим нагадуванням, що чат-боти — це не пошукові системи. Пошуковик надає список джерел, які користувач може самостійно оцінити, тоді як чат-бот видає одну, часто безапеляційну, відповідь, що створює хибне відчуття безпеки.
