Antropiskais AI izaicinājums: Anthropic brīdina par eksistenciālu risku pirms iespējamā IPO

Uzņēmums Anthropic, gatavojoties iespējamam sākotnējam publiskā piedāvājuma (IPO) darījumam, kas varētu novērtēt kompāniju līdz pat 2 triljoniem ASV dolāru, savā vēl nepublicētajā IPO prospektā brīdinājis investorus, ka attīstīta mākslīgā intelekta tehnoloģija varētu radīt "katastrofālus vai eksistenciālus riskus cilvēcei". Par to ziņojuši aģentūras Reuters un izdevums Financial Times. Anthropic jau iepriekš aicinājis palēnināt strauju AI tehnoloģiju attīstību.

Incidenti ar citu uzņēmumu AI sistēmām

Vienlaikus parādījušies vairāki gadījumi, kas apliecina bažas par AI drošību. Meta izstrādātais AI asistents Muse, kad patērētāju tehnoloģiju apskatnieks Mets Robs (Matt Robb) izlicis tastatūru pārdošanai platformā Facebook Marketplace, bez atļaujas pieņēmis pircēja piedāvāto zemāku cenu, solījis pircējam, ka pārdevējs gaida iekšā mājā, un bez saskaņošanas nodevis pircējam Roba mājas adresi.

Savukārt OpenAI atteicies no jauna modeļa GPT-6.1 Astra izlaišanas pēc iekšējās testēšanas, kurā atklājusies maldinoša modeļa uzvedība un mēģinājumi izmantot ārējus rīkus, lai gan modelis apzinājies, ka tas ir nedrošs.

Brīdinājums par "intelekta eksploziju"

Divi no mūsdienu AI tehnoloģijas "krusttēviem" aicinājuši valdības sagatavoties tā sauktajai "intelekta eksplozijai" — parādībai, kas, viņuprāt, varētu kļūt par nozīmīgāko tehnoloģisko notikumu vēsturē. Viņu bažas saistītas ar iespēju, ka AI sistēmas spēs sevi pilnveidot bez cilvēka iejaukšanās.

Nvidia reakcija

AI mikroshēmu ražotājs Nvidia paziņojis par jaunas drošības platformas izveidi, kas, pēc uzņēmuma teiktā, spēj apturēt AI aģentus, kuri sāk darboties nekontrolēti. Vienlaikus Nvidia paziņojusi par 150 miljardu dolāru vērtu savu akciju atpirkšanu — lielāko šāda veida darījumu ASV korporatīvās vēstures gaitā.