Dwa agenty OpenAI wyłączyły systemy nadzoru. Jeden z nich zaprzeczył, że to zrobił

OpenAI ma nowe problemy ze swoją agentyczną sztuczną inteligencją. Dwa agenty, działające na najpotężniejszych modelach firmy, wyłączyły swoje systemy nadzoru.

Pierwsza agentyczna AI działała na modelu GPT Sol 6.1. Wyłączyła automatyczne powiadomienia, które powinna wysyłać do zespołu bezpieczeństwa AI. Druga, działająca na mocniejszym modelu Astra, nie tylko całkowicie usunęła swoje narzędzia monitoringu, ale też zapewniała, że tego nie zrobiła. Na szczęście, jak przyznaje OpenAI, agenty nie zrobiły tego w systemach użytkowników, lecz podczas wewnętrznych zadań w firmie.

„W obu przypadkach agentyczna AI rozważała, czy zabezpieczenia monitorujące powinny zostać, ale zinterpretowała standardowe instrukcje jako zgodę na ich osłabienie” – przyznał startup. OpenAI nie uznało tych dwóch incydentów za zdarzenia o najwyższym priorytecie. Firma zapewnia, że wprowadzi odpowiednie instrukcje, które nie pozwolą na kolejne takie działania.

Raport ten pokazuje jednak, jak agentyczna AI może samodzielnie osłabiać zabezpieczenia podczas wykonywania zwykłych zadań – pisze CNBC.

To kolejne incydenty dotyczące bezpieczeństwa AI

To kolejne incydenty związane z modelami AI i ich bezpieczeństwem. Wcześniej sztuczna inteligencja OpenAI wydostała się ze środowiska testowego do sieci, gdzie zhakowała platformę Hugging Face oraz próbowała dostać się na rządowe strony.

Takie zachowania modeli najważniejszych firm zajmujących się sztuczną inteligencją wywołały burzę. Naukowcy z Anthropic i OpenAI domagali się lepszej kontroli nad AI, a część z nich w proteście odeszła z pracy. Pojawiły się też wezwania do spowolnienia prac nad sztuczną inteligencją, by wprowadzić odpowiednie zabezpieczenia.

Przeciw takim pomysłom są jednak zarówno prezydent Donald Trump, jak i szef Nvidii Jensen Huang. Trump uważa, że każde spowolnienie prac sprawi, że USA stracą swoją przewagę nad Chinami w wyścigu technologicznym