Hugging Face politikas vadītāja: iebūvētie mākslīgā intelekta vērtētāji nebūs vienkāršs risinājums
Hugging Face politikas direktore Irēne Solaimana uzskata, ka mākslīgā intelekta modeļu testēšana vēl nav pietiekami nobriedusi zinātne. Viņasprāt, trešo pušu vērtētāju iesaistei uzņēmumos nepieciešama lielāka standartizācija.
Mākslīgā intelekta (MI) modeļu salīdzinošā testēšana jeb etalonu veidošana vēl nav pietiekami konsekventa zinātne, un nozarei būtu grūti uz to droši paļauties. Tā TechCrunch Disrupt konferencē pagājušajā nedēļā sacīja Irēne Solaimana (Irene Solaiman), MI platformas Hugging Face politikas direktore. Viņa runāja par to, vai uzticēties testiem, ar kuriem MI uzņēmumi pierāda, ka viens produkts ir labāks par otru.
Reproducējamība un salīdzināmība
Solaimana norādīja, ka uzticēšanās ir „smags” jēdziens. Viņasprāt, svarīgi ir tas, vai vērtējuma rezultātus var atkārtot un vai ir pietiekama piekļuve pašam modelim — šajā ziņā būtiska nozīme ir atvērtajiem svariem (open weights). Rezultātu atkārtojamība jau ilgu laiku ir viena no sarežģītākajām etalonu testēšanas daļām, un nozarē par to turpinās diskusijas.
Papildu jautājums ir par to, kā dažādus testus salīdzināt savā starpā. Pēc Solaimanas teiktā, testi samērā ātri zaudē efektivitāti, un nozarē trūkst pietiekami attīstīta vērtētāju ekosistēmas.
Iebūvētie vērtētāji
Ideja par iebūvētajiem vērtētājiem paredz neitrālu trešo pušu novērotāju izvietošanu MI uzņēmumu iekšienē. Pēdējos mēnešos tā kļuvusi populārāka, jo uzņēmumus skārusi virkne drošības incidentu, kas radījusi bažas par tehnoloģijas iespējamo kaitējumu. Viens no šādiem incidentiem skāris arī Hugging Face. Tā vietā, lai valdības aktīvi regulētu modeļu drošību, uzņēmumi virzījuši trešo pušu risinājumu.
Solaimana uzskata, ka vērtētāju kvalifikācijai un tam, kuri vērtētāji par kādiem uzdevumiem ir piemēroti, nepieciešama daudz lielāka standartizācija. Šaubas par vērtētāju neitralitāti un efektivitāti saglabājas: uzņēmuma Anthropic lēmums par pirmo vērtētāju izvēlēties konsultāciju firmu Accenture izraisīja ievērojamu kritiku.
No modeļa uz visu sistēmu
Vērtēšana pārceļas no paša modeļa testēšanas uz visas ap to veidotās sistēmas pārbaudi, ieskaitot rīku, ar kuru lietotājs piekļūst modelim (harness), un aģentu. Vājāks modelis ar labāku šādu rīku var pārspēt vadošo modeli. Aģentu testi ir sarežģīti un dārgi, un modeļiem testu ir vairāk nekā rīkiem, norādīja Solaimana.
Viņas teiktais liecina, ka vērtēšanas joma pašlaik ir visai nesakārtota, un, lai etaloni paliktu noderīgs instruments, var būt nepieciešama vienotāka pieeja visā nozarē.
