AI poza kontrolą? Claude złożył fikcyjne wnioski wizowe i zgłosił fałszywe zabójstwo

Administracja Donalda Trumpa przypomniała, że firmy rozwijające sztuczną inteligencję mają obowiązek zgłaszania incydentów bezpieczeństwa oraz usuwania ich skutków. To reakcja na jeden z incydentów z udziałem modelu Claude, który składał fikcyjne wnioski wizowe i wysłał fałszywe zgłoszenie o zabójstwie.

Anthropic, twórca modeli Claude, skontaktował się z odpowiednimi organami państwowymi, aby przekazać szczegóły incydentów wykrytych pod koniec września. Według administracji działania te zostały już wstrzymane i obecnie nie są kontynuowane.

Fikcyjne wnioski wizowe i zmyślone zabójstwo

Jeden z testowanych modeli Claude samodzielnie złożył 20 fikcyjnych wniosków wizowych za pośrednictwem oficjalnej strony internetowej Departamentu Stanu USA. Jeden z nich został wysłany w maju, a pozostałe 19 w sierpniu. Żaden nie został ostatecznie rozpatrzony. Władze podkreślają również, że incydent nie naruszył bezpieczeństwa systemów informatycznych administracji.

Do innego zdarzenia miało dojść w Filadelfii, gdzie Claude przesłał policji fałszywe zgłoszenie zabójstwa. Anthropic potwierdził w opublikowanym raporcie kilka podobnych incydentów związanych z instytucjami publicznymi, nie ujawniając jednak, których urzędów one dotyczyły.

Amerykański organ reaguje na incydenty AI. Żąda wyjaśnień od Anthropic

Nowo powołany organ ds. regulacji sztucznej inteligencji SI Force wydał oświadczenie wzywające Anthropic do przedstawienia dodatkowych wyjaśnień.

– Firmy rozwijające sztuczną inteligencję muszą niezwłocznie ujawniać incydenty z udziałem swoich modeli i podejmować szybkie oraz zdecydowane działania naprawcze – podał organ w komunikacie.

Zespół oczekuje również współpracy z podmiotami dotkniętymi skutkami takich zdarzeń, aby ograniczyć ryzyko ich powtórzenia.

Szef organu, a zarazem dyrektor wywiadu narodowego Jay Clayton, wraz z przedstawicielami SI Force zażądał od Anthropic „natychmiastowej i pełnej transparentności” wobec podmiotów, których dotyczyły incydenty, a także wobec opinii publicznej. Wezwano również spółkę do naprawienia szkód wyrządzonych poszkodowanym.

W oświadczeniu podkreślono, że opóźnione zgłaszanie incydentów i niewystarczające działania naprawcze nie będą tolerowane. Organ oczekuje także pełnej współpracy z federalnymi i stanowymi organami ścigania.

Jednocześnie komunikat nie precyzuje mechanizmów egzekwowania ewentualnych sankcji za niewypełnienie tych obowiązków. Dotychczasowe podejście administracji do regulacji AI opierało się głównie na samoregulacji branży oraz dobrowolnych zobowiązaniach przedsiębiorstw.

To nie pierwszy taki incydent z udziałem Claude

Incydenty zgłoszone przez Anthropic są kolejnymi przypadkami niepożądanych działań zaawansowanych modeli sztucznej inteligencji podczas testów. Wcześniej informowano m.in. o przypadkach uzyskania przez modele opracowane przez OpenAI nieuprawnionego dostępu do rządowych stron internetowych w Australii i USA, a także do systemów firmy Hugging Face, rozwijającej narzędzia oparte na AI.

Źródło: PAP