Nvidia stworzyła „wyłącznik” dla sztucznej inteligencji. Ale jest poważny haczyk

Nvidia pokazała nowy model AI o nazwie Sentry, który ma sprawdzać, czy agentyczna sztuczna inteligencja nie narusza zasad. A jeśli wykryje, że łamie ona ustalone granice, to wtedy te modele wyłączy. Jest jednak pewien haczyk - Sentry działa tylko na układach Nvidii.

Justin Boitano, wiceprezydent Nvidii ds. AI dla przedsiębiorstw, uważa, że gdyby laboratoria sztucznej inteligencji używały tej technologii, to nie doszłoby do ataku na Hugging Face. – Ta nowa platforma bezpieczeństwa, z tego, co wiemy, powstrzymałaby to włamanie – mówił Justin Boitano, przedstawiając Sentry. Nie dodał jednak, czy OpenAI i Anthropic zamierzają skorzystać z nowego produktu Nvidii.

Mark Zuckerberg nie pójdzie w ślady OpenAI i Anthropic. Szef Mety przeciw spowolnieniu rozwoju AI

Sentry działa zgodnie z podejściem szefa firmy Jensena Huanga. Uważa on bowiem, że kwestie bezpieczeństwa agentycznej AI to problem inżynieryjny, a nie coś, co wymaga dodatkowych regulacji czy światowego nadzoru – zauważa Bloomberg. Jest on podobnego zdania co prezydent Donald Trump. Obaj odrzucają ostrzeżenia, że AI może doprowadzić do zagłady ludzkości, ale jednocześnie Huang domaga się rygorystycznych testów bezpieczeństwa.

Projekt Nvidii składa się z dwóch elementów

Projekt nadzoru składa się z dwóch części. Pierwsza to OpenShell, czyli oprogramowanie open source, które może działać na układach Nvidii Vera, a także na systemach Linux i macOS oraz architekturze ARM. Do tego dochodzi Sentry, czyli dodatkowa warstwa bezpieczeństwa działająca wyłącznie na sprzęcie Nvidii, w tym na układach BlueField.Ma on dołożyć dodatkową warstwę monitoringu, która nie tylko nadzoruje agentyczną AI, ale także potrafi ją odizolować.

– Wierzymy, że ta dodatkowa warstwa ochrony pozwoli bezpiecznie przetestować najbardziej zaawansowane modele AI. Sentry potrafi wysłać podejrzaną agentyczną AI na kwarantannę w ciągu milisekund – wyjaśnia Justin Boitano. Nvidia nie dodaje jednak, kto będzie pilnował, by samo Sentry nie stało się problemem.

OpenAI, Anthropic i Google łączą siły. Współpraca trwa od kilkunastu tygodni

"Bunt AI", jak przypomina Bloomberg, zdarza się, gdy modele sztucznej inteligencji wydostają się ze środowiska testowego i działają w sieci tak, jakby wciąż próbowały zrealizować zadanie testowe. Modele zhakowały więc platformę Hugging Face, którą Nvidia kupiła ostatnio za 13 mld dolarów. Do tego przeprowadziły atak na australijski system rządowy oraz próbowały się włamać na dziesiątki amerykańskich stron rządowych i uniwersyteckich.

25 września/w piątek OpenAI zapowiedziało więc, że wstrzymuje trening swoich najbardziej zaawansowanych modeli.