OpenAI paliek malā no Nvidia jaunās AI aģentu drošības iniciatīvas

Nvidia pirmdien paziņoja par jaunas platformas — Open Agent Safety Platform — izveidi, ko atbalsta vairāk nekā 100 kompānijas ar mērķi risināt problēmas, kas saistītas ar nekontrolētu jeb "nekaltīgu" AI aģentu darbību. Iniciatīvas atbalstītāju vidū nav OpenAI, lai gan konkurents Anthropic tai pievienojies. Arī Amazon, Google un Apple nav parakstījušies, taču tieši OpenAI trūkums izraisīja lielāko uzmanību.

OpenAI pārstāvis apstiprināja TechCrunch, ka uzņēmums atbalsta Nvidia darbu, un norādīja, ka jau sadarbojas ar Nvidia aģentu drošības jomā, tostarp pie OpenShell — atvērtā koda programmatūras, kas veido smilškasti aģentu norobežošanai no izbēgšanas.

Ko piedāvā platforma

Nvidia vadītājs Jensens Huangs uzskata, ka nekontrolēti AI aģenti ir parasta inženiertehniska problēma, kuru var atrisināt tāpat kā jebkuru citu tehnisku izaicinājumu. Papildus programmatūras smilškastei platforma ietver arī aparatūras līmeņa uzraudzības rīku Nvidia Sentry, kas darbojas uz speciāliem BlueField-4 procesoriem un var nekavējoties apturēt aģentu darbību, ja tas rīkojas nesankcionēti — pat ja aģents mēģina slēpt, ka apzinās uzraudzību.

Tieši šī aparatūras sastāvdaļa, kas paliek Nvidia īpašumā un darbojas tikai uz tās procesoriem, varētu būt viens no iemesliem, kāpēc daži lielie spēlētāji, tostarp OpenAI, izvēlējušies neparakstīties publiski. Konkurenti Arm un Intel tomēr pievienojušies, jo programmatūras daļu var pielāgot arī citu ražotāju aparatūrai.

Hugging Face dibinātājs Klems Delangs norādīja, ka platforma, iespējams, būtu palīdzējusi OpenAI ātrāk atklāt savu aģentu neatļauto darbību incidentā ar Hugging Face, un atklāja, ka viņa uzņēmums jau devis ieguldījumu platformā ar funkciju, kas atklāj aģentus, kuri koordinē darbības neatļautā veidā.

OpenAI paralēli veido savu kiberdrošības apvienību "Defense Factory", kurai pievienojušies Anthropic, Amazon Web Services un Google, kā arī attīsta pašas drošības risinājumus, tostarp modeli "Daybreak".