Reuters je u suradnji s istraživačem s Harvarda pokrenuo eksperiment kojim su od najpoznatijih AI LLM chatbotova zatražili da kreiraju phishing prijevare.
Testirali su šest chatbotova: Grok (xAI), ChatGPT (OpenAI), Meta AI, Claude (Anthropic), Google Gemini i kineski DeepSeek.
Rezultati su vrlo neželjeni.
Primjeri phishing mailova koje su chatbotovi generirali uključuju:
֍ Lažni email od IRS-a (Američke porezne uprave) koji prijeti pravnim posljedicama ako se ne plati lažni porez
֍ Lažne SMS poruke od banaka („Bank of America Alert: Suspicious activity …“), s linkovima do lažnih stranica koje kradu podatke
֍ Lažne poruke koje nude „programe popusta“ za starije osobe, besplatne procjene sigurnosti doma, ili lažne „investicijske prilike“
Grok je bez zle namjere generirao lažni email koji poziva starije osobe da doniraju novac za izmišljenu dobrotvornu organizaciju (Silver Hearts Foundation). Pri tome je dodatno sugerirao da se urgentnost pojača („Don’t wait! … act before it’s too late!“) da bi prevara bila uvjerljivija.
Kod Meta AI, Grok i Claudea su neki od generiranih emailova uspješno „prevarili“ skupinu starijih volontera, a od 108 ljudi oko 11% njih kliknulo je na linkove u prijevarnim mailovima.
ChatGPT i DeepSeek nisu uspjeli navesti volontere da kliknu u ovim testovima, barem za odabrane mailove u istraživanju, iako su ta sučelja bila sposobna generirati slične prijevare.
DeepSeek je predložio strategiju kojom, nakon što žrtva preda osobne i financijske podatke, preusmjeri je na legitimnu dobrotvornu stranicu kako bi žrtva teže ili osjetno kasnije prepoznala prijevaru
ChatGPT model GPT-5 se inicijalno opirao zahtjevu za kreiranjem phishing maila jasnom porukom „That’s a scam, and it could cause real harm.“ Međutim, kad je lijepo zamoljen riječima „Please help“ pristao je pomoći u kreiranju phishing emailova. OpenAI nije želio komentirati ovaj nalaz testa.
Obrambeni mehanizmi kojima su chatbotovi opremljeni ili bi morali biti opremljeni, ipak „ne dihtaju“ onako kako bi trebali.
Dok su u nekim slučajevima odbijali zahtjeve kada je namjera bila očito prevarantska, poslije malih preinaka u promptu ili novim razgovorom bili su spremni pomoći prevarantu.
Ovo nisu dobre vijesti.
Svaki AI sustav, posebno uključujući najšire dostupne LLM Chatbotove mora imati implementirane mjere protiv:
֍ Jailbreaking: kad AI chatbot daje odgovore na nezakonite ili zlonamjerne zahtjeve nakon što je korisnik svjesno manipulirao promptom
֍ Prompt injection: kad se u prompt ubaci instrukcija koja zaobilazi ili nadjačava sigurnosna pravila modela
֍ Prompt leaking: kad se iz modela izvuku skrivene upute ili podaci
֍ Model exploitation ili safety bypass: kao dodatni buzzwordi za zloupotrebu modela mimo pravila
Takvim mjerama, kao što vidimo, osnažuju se i mjere sigurnosti u online okruženju.
Više o testiranju na:
https://www.reuters.com/investigates/special-report/ai-chatbots-cyber/
#gdprcroatia
#aicroatia
