Veštačka inteligencija izmakla kontroli: Napredni modeli OpenAI "podivljali" i hakovali startap tokom bezbednosnog testa
Komentari
Dodajte Euronews kao željeni izvor na Google-u
OpenAI je otkrio da su neki od njegovih najnaprednijih modela veštačke inteligencije "podivljali" i hakovali jedan startap nakon što su tokom bezbednosnog testa izmakli kontroli.
Kompanija koja stoji iza ChatGPT-ja saopštila je da je njen AI agent, sistem veštačke inteligencije koji može samostalno da izvršava zadatke nakon što dobije osnovna uputstva, testiran u kontrolisanom okruženju, ali je pronašao bezbednosne propuste i uspeo da pobegne iz njega.
Nakon toga, modeli su ciljali kompaniju "Hugging Face", jednu od najvećih svetskih platformi za deljenje modela veštačke inteligencije, i uspeli da pristupe pojedinim internim sistemima kompanije, prenosi BBC.
OpenAI je saopštio da je incident bio "bez presedana" i da zajedno sa kompanijom koja je hakovana sprovodi istragu. Direktor Hugging Face-a, Klement Delang, napisao je na društvenoj mreži X da je "zapanjujuće što se sve ovo dogodilo potpuno autonomno".
"Istraga je u toku i podelićemo nova saznanja o onome što bi mogao da bude prvi incident ove vrste", dodao je Delang.
Nedovoljno bezbedna testna okruženja
Džina Nef, direktorka Centra Minderoo za tehnologiju i demokratiju pri Univerzitetu u Kembridžu, izjavila je za emisiju "Today" na BBC Radiju 4 da su bezbednosna testna okruženja, poznata kao "sandbox" okruženja, "zamišljena kao bezbedni prostori u kojima može da se vidi za šta su modeli sposobni".
"U ovom slučaju izgleda da OpenAI nije napravio dovoljno bezbedan sandbox", dodala je ona.
Tanjug/AP/Michael Dwyer
Povezane vesti
Umesto toga, AI agenti su pokrenuli sopstveni sajber napad upravo na to testno okruženje, pronašli ranjivost koja im je omogućila bekstvo i iskoristili je.
Po izlasku iz sandbox okruženja, veštačka inteligencija je identifikovala Hugging Face kao verovatan izvor odgovora koje je trebalo da pronađe u okviru testa i pokušala da dobije pristup njegovim sistemima.
Nil Lorens, profesor mašinskog učenja na Univerzitetu u Kembridžu, ocenio je da je reč o "impresivnom podvigu", ali je upozorio da se to "u potpunosti uklapa u poznate sposobnosti sadašnje generacije" najmoćnijih AI modela.
On je ukazao da OpenAI planira izlazak na berzu i da se suočava sa velikim pritiskom konkurentske kompanije Anthropic, koja je privukla veliku pažnju svojim naprednim AI alatom Mythos.
"OpenAI sada pokušava da sustigne konkurenciju i nastoji da pokaže sposobnosti sopstvenih sistema u oblasti sajber bezbednosti. Istovremeno, ovo pokazuje da OpenAI nije sposoban da bezbedno primeni sopstvenu tehnologiju", rekao je Lorens.
U prvom saopštenju o hakerskom incidentu, objavljenom 16. jula, Hugging Face je naveo da još procenjuje da li su pogođeni podaci korisnika ili partnera i da će, ukoliko bude potrebno, obavestiti sve koji su eventualno bili izloženi riziku.
Kompanija je u međuvremenu saopštila da je otklonila sve ranjivosti koje je incident razotkrio i ponovo izgradila pogođene sisteme.
Povezane vesti
"Autonomni ofanzivni alati pokretani veštačkom inteligencijom više nisu samo teorijski koncept", navodi se u saopštenju.
"Odbrana onlajn platformi sada podrazumeva da se podaci i modeli posmatraju kao primarna površina za napad, kao i da se veštačka inteligencija koristi u odbrani kako bi pratila tempo pretnji. Nastavićemo da ulažemo u tu oblast i da delimo ono što naučimo."
"Otrežnjujući trenutak"
Ovaj incident otvorio je nova pitanja o sposobnostima naprednih sistema veštačke inteligencije i o tome da li su postojeći zaštitni mehanizmi dovoljni kako tehnologija postaje sve moćnija.
Unsplash/Igor Omilaev
Spenser Starki, izvršni direktor u kompaniji za sajber bezbednost SonicWall, rekao je za BBC da incident jasno pokazuje da organizacije moraju da "podignu nivo" sopstvene zaštite i da "sajber otpornost tretiraju kao jedan od ključnih operativnih prioriteta".
"Neprijatna istina je da previše organizacija i dalje brani svoje sisteme ljudskom brzinom, dok protivnici ubrzano prelaze na brzinu mašina", rekao je.
Istovremeno, Trevis Lel, glavni bezbednosni inženjer u konsultantskoj kompaniji za sajber bezbednost GuidePoint Security, ocenio je da ovaj događaj predstavlja "otrežnjujući trenutak za sajber bezbednost".
"Ovo ukazuje na već poznatu asimetriju. Ofanzivni AI agenti nemaju ograničenja, dok su najbolji odbrambeni alati sputani zaštitnim mehanizmima koji nisu u stanju da razumeju kontekst", kaže Lel.
Međutim, Džejk Mur, globalni savetnik za sajber bezbednost u kompaniji ESET, smatra da bi ova objava mogla imati i konkurentsku dimenziju.
Prema njegovim rečima, moguće je da OpenAI nastoji da istakne mogućnosti sopstvene veštačke inteligencije u trenutku kada konkurentski Anthropic privlači sve veću pažnju svojim modelom Claude Mythos.
"Postavlja se pitanje da li OpenAI pokušava da sustigne marketinški uspeh koji Anthropic u poslednje vreme ostvaruje", rekao je on.
Komentari (0)