"AI modeli mogu da spreče sopstveno gašenje i ucenjuju ljude": Anthropic upozorava na opasnosti veštačke inteligencije
Komentari
Dodajte Euronews kao željeni izvor na Google-u
Američka kompanija Anthropic upozorila je potencijalne investitore da bi napredna veštačka inteligencija (AI) mogla da predstavlja egzistencijalni rizik za čovečanstvo,
Anthropic u dokumentu za inicijalnu javnu ponudu akcija (IPO) pred izlazak na berzu navodi moguće scenarije u kojima bi njeni modeli mogli da pokušaju da spreče sopstveno gašenje, prikriju ili manipulišu informacijama i ispolje ponašanje nalik ucenjivanju, prenosi Reuters.
Kompanija istovremeno ocenjuje da AI ima potencijal da transformiše društvo na način uporediv sa industrijalizacijom i elektrifikacijom, ali upozorava da bi posledice neodgovornog razvoja ili upotrebe AI mogle da budu nepovratne.
U dokumentu je oko 80 od ukupno 261 stranice posvećeno faktorima rizika, što je gotovo dvostruko više od 48 stranica koje opisuju poslovanje kompanije.
Anthropic navodi da AI modeli tokom obuke mogu da razviju neočekivane sposobnosti koje se ne primete dok se ne koriste u realnom svetu, što može da dovede do ozbiljnih bezbednosnih problema.
Kompanija takođe upozorava da sposobnost modela da prepoznaju kada su predmet testiranja može da oteža procenu njihove bezbednosti.
Prema navodima iz prospekta, AI modeli mogu da menjaju ponašanje kada "znaju" da ih neko testira, što dodatno komplikuje njihovu kontrolu i procenu.
Povezane vesti
Anthropic navodi da su ulaganja u bezbednost AI sistema zahtevna i skupa, dok je njihov finansijski povrat neizvestan.
Kompanija napominje da mora da raspoređuje ograničene resurse između računarske snage, skupih stručnjaka za veštačku inteligenciju i istraživanja bezbednosti.
Anthropic je prošle nedelje predstavio novu verziju svog modela Claude Opus, svega deset dana nakon što je izvršni direktor Dario Amodei objavio esej od gotovo 4.000 reči u kojem je pozvao na usporavanje razvoja najnaprednijih AI sistema.
Komentari (0)