Twórcy AI i banki tworzą plany awaryjne. Czekają na „dzień po katastrofie”

Największe banki USA pracują nad zapobieganiem dramatycznym incydentom, jakie mogą spowodować modele sztucznej inteligencji, ale przygotowują się również na „dzień po katastrofie”. Podobne kroki podjęły firmy AI, które oceniają, że poważne incydenty są nieuniknione – podaje portal Axios.

Najważniejsze amerykańskie instytucje finansowe dołączyły do spółek AI, które jako pierwsze zaczęły przygotowywać scenariusze na wypadek katastrofy. To rozsądny krok, ale zarazem bardzo niepokojący sygnał, świadczący o skali zagrożenia – komentuje portal.

Banki mają obserwować podejrzaną aktywność agentów AI

Banki zaobserwowały już podejrzaną aktywność agentów AI, choć na razie jest ona najczęściej wynikiem postępowania klientów, którzy udostępniają swoje hasła albo dane do logowania asystentom lub agentom AI.

Co więcej, w pewnych przypadkach wygląda na to, że modele podejmują kroki bez stosownych poleceń ze strony użytkowników.

Szczególne zaniepokojenie instytucji finansowych wywołują jednak nie agenci, a najbardziej zaawansowane systemy (ang. „frontier AI systems”), czyli najbardziej zaawansowane, ogólnozadaniowe modele i systemy AI. Związane z ich możliwościami obawy skłoniły banki do zainwestowania w mechanizmy obronne i tworzenia planów na wypadek katastrofy – wyjaśnia Axios.

Portal przypomina, że instytucje odpowiadające za tzw. infrastrukturę krytyczną, w tym banki, mają prawnie wiążący obowiązek podejmowania takich działań.

Jamie Dimon, dyrektor wykonawczy banku JPMorgan, ostrzegł, że klienci powinni przyjąć założenie, iż AI może nie działać na ich korzyść ani w sposób właściwy. Podkreślił też, że incydentom z udziałem modeli sztucznej inteligencji można jedynie zapobiegać, a jeśli już do nich dojdzie, to „nie można ich zatrzymać” i można jedynie „zarządzać” skutkami klęski.

Axios zwraca uwagę, że podczas gdy na „najgorsze możliwe scenariusze” przygotowują się Wall Street i Krzemowa Dolina, rząd federalny liczy na „dobrowolne obietnice w sferze bezpieczeństwa” ze strony przedsiębiorstw AI.

W czwartek portal napisał, że banki wykryły już niezweryfikowane agenty AI poruszające się po kontach klientów, przy czym część z nich zdawała się działać niezależnie od instrukcji swoich użytkowników.

Sytuację komplikuje to, że instytucje finansowe mają trudności z rozróżnieniem między krokami podejmowanymi przez ludzi a działaniem botów lub też nie mogą ustalić, czy model AI działa na zlecenie, czy też się zbuntował.

Zarządy banków oceniają, że „sytuacja jest przerażająca”

Tymczasem Anthropic, OpenAI i inne firmy sektora AI również analizują scenariusze, w których dochodzi do bardzo poważnych incydentów spowodowanych przez AI lub z udziałem modeli, takich jak atak na usługi finansowe, blokada internetu czy sieci energetycznych lub wodociągowych.

Wiele firm i agencji rządowych przygotowuje się na różne sytuacje awaryjne, jednak różnica między nimi a sektorem sztucznej inteligencji polega na tym, że specjaliści od AI „są przekonani, że taki incydent na wielką skalę jest nieunikniony” – podkreśla portal.

Pod koniec września Anthropic, który przygotowuje się do wejścia na giełdę, ostrzegł w prospekcie emisyjnym, iż AI może stanowić „egzystencjalne zagrożenie dla ludzkości”, a jej modele mogą „manifestować postawę samozachowawczą” połączoną z zabiegami mającymi „uniemożliwić ich wyłączenie”. Mogą też „manipulować” ludźmi, a nawet podejmować kroki „przypominające szantaż”.

Axios napisał wówczas, że takie najnowsze ustalenia stawiają pod znakiem pytania zdolność OpenAI i Anthropica, czy też w ogóle firm tego typu, do „ustanowienia całkowitej kontroli nad ich własną technologią”.

Jednocześnie wielu komentatorów sugeruje, że komunikaty o zagrożeniach mogą stanowić element działań PR, mających zwiększyć zainteresowanie akcjami spółki przed planowanym debiutem giełdowym.

Czytaj także:

• Dług Anthropicu ma śmieciowy rating. Rosną obawy o finanse gwiazdy boomu AI
• „NYT”: widać symptomy nadchodzącego kryzysu finansowego. Wywołać go mogą inwestycje w AI

Źródło: PAP, XYZ