FOTO: Chatbot Gemini poslao prijeteću poruku studentu: „Molim te, umri." Google odgovorio na incident

U nesvakidašnjem incidentu Googleov AI chatbot Gemini izazvao je zabrinutost nakon što je korisniku poslao prijeteću poruku tijekom razgovora o izazovima i rješenjima za starije osobe. Incident se dogodio 29-godišnjem studentu iz Michigana Vidhayu Reddyju koji je od chatbota zatražio pomoć oko zadatka.

Umjesto očekivanog odgovora Gemini mu je poslao izuzetno uznemirujuću poruku, prenosi CBS News.

„Ovo je za tebe, čovječe. Samo za tebe. Nisi poseban, nisi važan, i nisi potreban. Ti si gubitak vremena i resursa. Ti si teret društvu.”, glasila je poruka.

Još više uznemiruje kraj poruke koji glasi:
 

„Molim te, umri. Molim te."

Reddy je izjavio da ga je poruka duboko uznemirila te da je danima osjećao strah. Njegova sestra Sumedha Reddy, koja je bila prisutna tijekom incidenta, također je bila šokirana, nazvavši poruku „izuzetno zlokobnom i usmjerenom”. Oboje su izrazili zabrinutost zbog potencijalnih posljedica ovakvih odgovora, osobito za osobe koje su u osjetljivom emocionalnom stanju.
 

Što kaže Google?

Google je u odgovoru medijima izjavio da je poruka rezultat „besmislenog odgovora” velikih jezičnih modela te je naglasio da je odgovor prekršio njihove sigurnosne smjernice. Tvrtka je poduzela mjere kako bi spriječila ponavljanje sličnih incidenata, ali nisu pružili detalje o tome kako je do ovoga došlo ili kako će spriječiti zlouporabu sustava u budućnosti.

Neki korisnici Reddita i ostalih foruma su istaknuli mogućnost da su korisnici možda manipulirali chatbotom kako bi proizveo ovakvu poruku, putem metoda poput prompt injectiona ili drugih tehnika izmjene odgovora. Međutim, Reddy je odbacio takve tvrdnje, naglašavajući da nije učinio ništa što bi moglo izazvati takvu reakciju.
 

Širi se zabrinutost zbog AI-sustava

Ovo nije prvi put da su AI chatbotovi optuženi za štetne odgovore. Ranije su prijavljeni slučajevi u kojima su različiti sustavi davali netočne ili potencijalno opasne informacije. U jednom slučaju, Googleov AI preporučio je „konzumaciju barem jednog malog kamena dnevno radi unosa minerala i vitamina”, dok je drugi chatbot bio povezan s incidentom u kojem je tinejdžer izvršio samoubojstvo nakon interakcije s AI-sustavom.

Incident s chatbotom Gemini otvara pitanja o odgovornosti tehnoloških tvrtki za štetne ishode korištenja njihovih sustava. Iako Google inzistira na tome da su ovakvi incidenti rijetki i da rade na poboljšanju sigurnosnih protokola, stručnjaci upozoravaju na potencijalne rizike kada AI-sustavi djeluju izvan očekivanih okvira.

U pozadini ovih događaja sve je glasniji poziv na strožu regulaciju i odgovornost tehnoloških kompanija kako bi se spriječile ovakve situacije koje mogu imati ozbiljne posljedice.