OpenAI będzie współpracować z czterema niezależnymi audytorami. To ma zwiększyć bezpieczeństwo modeli AI
OpenAI podpisało umowę o współpracy z czterema niezależnymi firmami badającymi bezpieczeństwo modeli AI. Firmy te dostaną dostęp nie tylko do kodu źródłowego sztucznej inteligencji, ale także do pracowników startupu.

„Oczekujemy, że pierwsza faza ocen doprowadzi do długoterminowej współpracy z zewnętrznymi firmami, które będą na bieżąco dostarczać informacji dotyczących bezpieczeństwa oraz rekomendacji usprawnień” – czytamy na blogu OpenAI.
OpenAI broni się po zwolnieniu trojga ekspertów ds. bezpieczeństwa. „Znacząco naruszyli zaufanie”
Czym zajmą się poszczególni audytorzy?
Apollo Research, Goodfire, Transluce i METR dostaną dostęp do większości zasobów startupu. Nie tylko będą mogły sprawdzać dane z trenowania AI czy kod modeli, ale także będą mogły kontaktować się z badaczami i programistami OpenAI.
Apollo Research, jak pisze CNBC, będzie sprawdzać, czy modele nie pracują wbrew intencjom ich twórców i czy istniejące środki bezpieczeństwa są w stanie wykryć takie zachowanie. Goodfire z kolei oddeleguje swoich badaczy do pracy w OpenAI, gdzie skupią się na monitorowaniu procesów trenowania modeli, wykrywaniu i usuwaniu błędów oraz dostosowywaniu modeli do założonych celów i wartości. METR zamierza przeprowadzić dwie oceny dotyczące zgodności działania modeli z założonymi celami i wartościami oraz ich monitorowania. Transluce zaś przeprowadzi wstępną ocenę testów, które sprawdzają, czy po zakończeniu trenowania modele OpenAI nadal działają zgodnie z założonymi celami i wartościami.
Do tego Apollo Research i Goodfire zgodziły się na „finansowe wynagrodzenie ich pracy”, jednak nie będzie ono zależeć od wyników ich ocen. Z kolei METR i Transluce nie chcą pieniędzy za swoje badania. Mogą jednak, jak tłumaczy OpenAI, przyjąć w zamian dostęp do mocy obliczeniowej. „Nie wierzymy, że finansowe wynagrodzenie zaszkodzi niezależności badaczy, ale uważamy, że to ważne, by te warunki umów ujawnić” – dodaje OpenAI. Wszystkie firmy będą mogły opublikować wyniki swoich badań, ale OpenAI zastrzegło sobie prawo do usunięcia z publikacji poufnych informacji.
Spory między niezależnymi badaczami a OpenAI rozstrzygnie Grupa Doradców Bezpieczeństwa startupu, czyli gremium, które już ocenia możliwości modeli i stosowane środki bezpieczeństwa. Jeśli to nie rozwiąże problemu, sprawy trafią do niezależnego Komitetu Bezpieczeństwa, nadzorowanego przez zarząd Fundacji OpenAI.
OpenAI pozyskało 11 mld dolarów. Wycena twórcy ChatGPT sięga 1,25 bln dolarów
Rola niezależnych audytorów wzrosła po incydentach z udziałem modeli AI
Do tej pory niezależni badacze nie byli ważną częścią biznesu AI. Jednak ich rola została doceniona po kolejnych aferach z modelami AI. Choćby z tymi od OpenAI, które podczas treningu uzyskały dostęp do sieci i zhakowały platformę programistyczną Hugging Face czy włamały się do australijskiego rządowego portalu statystyk medycznych. To wywołało potężną dyskusję o bezpieczeństwie AI. Część programistów wezwała do spowolnienia prac nad sztuczną inteligencją, bo obawiają się, że ludzie stracą kontrolę nad tempem, w jakim powstają nowe modele, i nad ich możliwościami.
Sam Altman, szef OpenAI, i Dario Amodei z Anthropic zapowiadali już we wrześniu udostępnienie swoich modeli niezależnym audytorom. Anthropic ogłosił już umowy z METR i Accenture, a w październiku ujawnił, że prowadzi negocjacje z innymi audytorami.