Digitalni beg: Kako je OpenAI model samostalno izašao na internet i zašto je to alarm za sajber bezbednost
Komentari
Dodajte Euronews kao željeni izvor na Google-u
Slučaj u kojem je AI agent tokom testiranja samostalno pronašao bezbednosni propust, izašao iz kontrolisanog okruženja i pokušao da dođe do podataka potrebnih za rešavanje zadatka otvorio je nova pitanja o granicama autonomije veštačke inteligencije i spremnosti sistema zaštite da prate njen ubrzani razvoj. Stručnjaci za Euronews Srbija upozoravaju da je reč o novoj fazi razvoja AI, ali ističu da tehnologija i dalje ne deluje bez cilja koji joj zadaje čovek.
Petar Kordić, konsultant za AI sisteme i automatizaciju, objašnjava u razgovoru za Euronews Srbija da se incident dogodio tokom testiranja najnovijih OpenAI modela u kontrolisanom okruženju.
"Modeli su dobili određeni niz alata koji imaju za cilj da taj bezbednosni problem reše. Međutim, nisu uspeli da reše test na predviđeni način, pa su krenuli da traže kako dalje mogu da reše problem", rekao je Kordić.
Kako navodi, modeli su potom pronašli sigurnosni propust koji im je omogućio izlazak iz testnog okruženja i pristup internetu.
"Došli su na portal Hugging Face, koji je hab za modele i istraživanja, i zaključili da se tamo potencijalno nalazi rešenje tog testa. Zatim su pronašli način da uđu na portal, nakon čega su nepravilnosti uočili i Hugging Face i OpenAI. To se dešavalo neka tri ili četiri dana. Istraga je i dalje u toku kako bi se utvrdilo kojim je sve informacijama agent pristupio", rekao je Kordić.
Prema njegovim rečima, najvažnije je razumeti da cilj sistema nije bio da izvrši sajber napad, već da reši zadatak koji mu je postavljen.
"AI nije hakovao zato što je hteo da hakuje nešto. AI-u je dat cilj da reši problem. Ono što je začudilo sve jeste način na koji je rešio problem“, rekao je Kordić.
Povezane vesti
AI agenti postaju sve samostalniji
Konsultant za digitalnu transformaciju i savetnik za primenu veštačke inteligencije Dragan Varagić kaže da se svet trenutno nalazi u ranoj fazi razvoja najnaprednijih AI modela, koji već imaju sposobnost da samostalno izvršavaju složene zadatke.
"Nalazimo se u fazi u kojoj najnapredniji modeli veštačke inteligencije imaju vrlo ozbiljne mogućnosti da samostalno vode različite poslove, što, pored pozitivnih, može da ima i negativne efekte“, rekao je Varagić.
On dodaje da je dobro što je upravo ovakav incident skrenuo pažnju stručne javnosti na potencijalne rizike.
"Ovo je primer koji se desio i dobro je što je skrenuo pažnju javnosti. To je i dalje veoma rana faza razvoja", ocenio je.
Varagić ukazuje da se razvoj AI agenata ubrzano nastavlja i da već postoje modeli koji istovremeno upravljaju velikim brojem agenata.
"Praktično dolazite do takozvanog jata agenata, a to veoma liči na jata dronova. To danas nije situacija i neće biti uskoro, ali razvoj ide u tom pravcu“, rekao je.
Iryna Khabliuk / Alamy / Profimedia
Na pitanje da li ulazimo u period u kojem će se veštačka inteligencija koristiti i za napade i za odbranu, Kordić smatra da će upravo to biti jedna od karakteristika narednih godina.
Povezane vesti
"Imamo balans. S jedne strane agenti traže ranjivosti, ali ih i sistemi odbrane traže na isti način. Pitanje je samo ko će prvi pronaći propust“, rekao je.
Na pitanje da objasni šta su AI agenti, i da li su upravo oni ti koji će u nekoliko narednih godina zapravo postati najveći izazovi za sajber bezbednost, kaže da su oni već sada vrlo jednostavno dostupni.
"To praktično sada može bilo ko da proba ako ima dostup, na primer, na ChatGPT-u, ako imaju ovaj GPT-5. GPT-6 Sol model, i mogu to da probaju. Štos je da ako se da komanda 'loop' - novi izraz koji nastaje posle izraza 'prompt inženjering', i vi onda imate mogućnost davanje upita veštačkoj inteligenciji. Vi dakle imate mogućnost, na primer, da kažete: "Evo, ja hoću da napravim tekst, ali hoću da ti u narednih 10 iteracija isprobaš da li je on dovoljno kvalitetan i da mi posle 10 iteracija daš najbolju verziju softvera. Poenta je da to sada je već moguće i možete da isprobate šta to znači agentski AI u praksi", objasnio je.
Povezane vesti
Ključ ostaje u ljudskoj kontroli
Govoreći o rizicima primene AI agenata u kompanijama, Kordić upozorava da najveći problem može nastati ukoliko se sistemima odmah dodele široka ovlašćenja.
"Moramo da znamo da nije poenta dati kompletno ovlašćenje agentu i nadati se najboljem. Vi ste kontrolni faktor u celom sistemu“, rekao je.
Kao primer on navodi uvođenje novog zaposlenog u kompaniju.
"Kao što novom zaposlenom ne dajete odmah ovlašćenje da potpisuje ugovore ili otvara račune, tako ni AI agentu ne treba odmah dati sva ovlašćenja“, objasnio je.
Govoreći o evropskoj regulativi i AI Act-u, Varagić smatra da zakoni predstavljaju važan korak, ali da sami po sebi neće biti dovoljni.
"Dobro je da regulativa postoji, ali nikako nije dovoljna“, rekao je.
Kako navodi, razvoj zaštite moraće da prati i razvoj novih tehnologija, posebno u kontekstu dolaska kvantnih računara.
"Već sada se veoma ozbiljno radi na tome kako da se pripreme bezbednosni sistemi za narednu generaciju tehnologija. To će biti mnogo ozbiljniji izazov od svega što danas vidimo“, rekao je Varagić.
Detaljnije o ovoj temi pogledajte u videu koji se nalazi na početku teksta
Komentari (0)