Błąd w konstrukcji Meta AI pozwolił cyberprzestępcom przejąć dziesiątki kont

To nie był tylko błąd halucynacji AI. Cyberprzestępcy mogli przejąć dziesiątki kont w usługach Mety dzięki temu, że sztuczna inteligencja miała funkcje nie tylko doradcze, ale i wykonawcze – i to bez twardych mechanizmów kontroli. Meta rozwijała systemy AI, by wspierały one użytkowników w odzyskiwaniu kont – pisze Check Point Software. To miało usprawnić cały system. Okazało się jednak, że AI dostała uprawnienia, które zwykle wymagają silnej weryfikacji, jak zmiana adresu e-mail czy wysyłanie linków do resetu hasła.

Cyberprzestępcy osiągnęli swój cel prostą drogą. Podawali nazwę użytkownika i używali VPN, by dopasować lokalizację do tego, co zapisano w systemie. Manipulowali też systemem analizy twarzy i w ten sposób zmuszali system do zmiany danych odzyskiwania konta.

AI zaczynała bowiem zmianę adresu e-mail i pozwalała w ten sposób zresetować hasło i przejąć konta. Łupem przestępców padły więc profile o dużej wartości rynkowej. Zdaniem ekspertów nie chodzi tylko o to, że łatwo było oszukać AI promptem. Kluczowym błędem było danie sztucznej inteligencji do funkcji administracyjnych, zabrakło zaś punktów kontroli uwierzytelnienia. Decyzje systemu zaś były oparte na kontekście rozmowy. Jeśli więc haker brzmiał dla AI przekonująco, to system wykonywał krytyczne instrukcje.

Analitycy ostrzegają: to dopiero początek kłopotów

Check Point Software ostrzega, że to dopiero początek tego typu problemów w sieci. Coraz więcej firm wdraża bowiem agentów AI, czyli systemy, które wykonują akcje zlecone przez użytkowników. – Kluczowym problemem niekoniecznie jest to, że AI zignorowała instrukcje lub została zmanipulowana przez sprytny komunikat. Wydaje się raczej, że AI była w stanie zainicjować lub ułatwić wrażliwe działania odzyskiwania kont bez wystarczającej, niezależnej weryfikacji. Innymi słowy, awaria bezpieczeństwa mogła dotyczyć samego procesu, a nie modelu – tłumaczy Steve Giguere, główny rzecznik ds. bezpieczeństwa AI w Check Point Software.

Jeśli zaś AI stanie się bramką do systemu, to klasyczne modele bezpieczeństwa, jak hasła czy weryfikacja dwuetapowa, będą mogły być łatwo pominięte. – Sztuczna inteligencja nie musi być narażona na ataki, jeśli otrzyma uprawnienia wykraczające poza zabezpieczenia. W miarę jak organizacje wdrażają coraz więcej systemów agentowych, zespoły ds. bezpieczeństwa muszą oceniać nie tylko to, co sztuczna inteligencja potrafi powiedzieć, ale także to, co potrafi zrobić – dodaje Giguere.