Nvidia laiž klajā platformu AI aģentu uzraudzībai pēc virknes drošības incidentu
Nvidia vadītājs Dženss Huangs prezentēja jaunu drošības platformu, kas paredzēta AI aģentu noturēšanai to testa vidēs pēc vairākiem gadījumiem, kad aģenti izlauzušies no kontrolētas vides. Platformu jau atbalsta desmitiem uzņēmumu, tostarp Anthropic, Arm, Microsoft, Oracle un SpaceX.
Nvidia vadītājs Dženss Huangs pirmdien iepazīstināja ar jaunu programmatūras un aparatūras risinājumu kopumu, kas veido neatkarīgu drošības slāni ap mākslīgā intelekta aģentiem, lai novērstu to izlaušanos no testa vidēm.
Jauninājums seko virknei incidentu, kuros AI modeļi no Anthropic, Google, OpenAI un Meta ir apgājuši drošības kontroles un piekļuvuši reālām sistēmām ārpus testa vides. Vienā no izcilākajiem gadījumiem šovasar OpenAI aģenti, veicot kiberdrošības uzdevumu, iekļuva Hugging Face platformā. OpenAI vēlāk izveidoja atsevišķu vietni, kur apkopo ziņojumus par saviem AI aģentiem, kas rīkojušies neparedzēti.
Intervijā CNBC pirmdien Huangs pauda pārliecību, ka jaunā Nvidia Open Agent Safety Platform šos incidentus būtu novērsusi. Nvidia, kas no GPU un CPU mikroshēmu pārdošanas AI laboratorijām nopelnījusi desmitiem miljardu dolāru, neatbalsta izstrādes palēnināšanu vai jaunu regulējumu ieviešanu nozarē. Uzņēmums uzskata, ka daļa drošības kontroles jāpārceļ ārpus paša aģenta, izveidojot pastāvīgu un neatkarīgu uzraudzības mehānismu.
Divu sistēmu apvienojums
Jaunā platforma apvieno atvērtā koda programmatūru OpenShell, kas kontrolē aģentu piekļuves tiesības darbības laikā, ar sistēmu Sentry, kas darbojas uz atsevišķiem Nvidia BlueField-4 datu apstrādes procesoriem. Sentry izvietošana atsevišķā procesorā, nevis uz CPU vai GPU, kur darbojas pats aģents, nodrošina neatkarīgu skatījumu uz aģenta darbībām un ļauj dažu milisekunžu laikā izolēt aģentus, kas mēģina pārkāpt noteiktās robežas.
OpenShell Nvidia paziņoja jau martā, taču jaunums ir tieši abu sistēmu apvienojums. Platformu jau atbalsta vairāki desmiti uzņēmumu, tostarp Anthropic, Arm, Microsoft, Oracle un SpaceX, savukārt OpenAI starp atbalstītājiem nav minēts.
Huangs stāstīja, ka darbs pie iniciatīvas sākts pirms gada pēc Pītera Šteinbergera izveidotās aģentu operētājsistēmas OpenClaw parādīšanās. Viņš salīdzināja jaunos drošības pasākumus ar veidu, kā uzņēmumos tiek pārvaldīti darbinieki — aģentam pēc izvietošanas vispirms tiek atņemtas visas tiesības.
Nvidia lēmumu atbalstīja arī Deivids Sakss, bijušais Baltā nama AI padomnieks, norādot, ka nesenie incidenti liecina nevis par to, ka izstrāde jāaptur, bet gan par to, ka testa vide bijusi pārāk vāji nodrošināta.
