Hibrīda pieeja: lētais modelis Jev un Opus dod gandrīz frontes precizitāti par ceturtdaļu izmaksu
Uzņēmums Hightouch pārbaudīja, vai mazie lēmumu modeļi Jev un GPT-6 Luna spēj novērtēt cilvēku identitāšu apvienošanas kvalitāti. Jev apvienojumā ar Claude Opus 5.5 sasniedza 98,8% precizitāti ar vairāk nekā četrreiz zemākām izmaksām nekā Opus atsevišķi.
Datu uzņēmums Hightouch publicējis testu, kurā pārbaudīts, vai valodu modeļi var automātiski novērtēt identitāšu atpazīšanas (identity resolution, IDR) rezultātus. IDR ir process, kurā dažādi ieraksti par klientiem tiek sasaistīti ar reāliem cilvēkiem, lai, piemēram, varētu apkopot viena klienta pirkumus. Visbiežākā problēma ir pārmērīga apvienošana, kad vienā profilā nonāk ieraksti par vairākiem cilvēkiem.
Kāpēc tas ir sarežģīti
Reālos datos nav pareizo atbilžu, tāpēc kvalitāti pārbauda ar roku, aptuveni 50 identitātēm stundā. Lai kļūdas īpatsvaru noteiktu ar precizitāti līdz ±1%, vajag vairāk nekā 1000 paraugu. Hightouch vēlējās to aizstāt ar modeļiem, kas atgriež ticamības rādītāju no 0 līdz 1. Tādi ir Jev un GPT-6 Luna, kas ir ātrāki un lētāki par vadošajiem modeļiem.
Testa rezultāti
Testam izmantoja pseidocilvēku rīku pseudopeople, kas simulē izdomātu ASV pilsētu un pievieno reālistiskas datu kļūdas. No tā izveidoja 1000 identitāšu: pusē bija viens cilvēks ar neprecīziem ierakstiem, pusē — pārmērīgi apvienoti profili.
Claude Opus 5.5 sasniedza 99,0% precizitāti par 3,86 USD uz 1000 identitātēm. Luna ar 70% sliekšņa vērtību ieguva 97,3%, bet Jev ar 60% slieksni — 95,7%. Šie modeļi izmaksā 0,05–0,10 USD uz 1000 identitātēm un atbild ap 0,15 sekundēm.
Grūtākā testā, kur bija dvīņi un līdzīgi vārdi, Luna ievērojami atpalika no vadošajiem modeļiem. Jev ticamības rādītāji izrādījās labāk kalibrēti: tā kļūdas lielākoties bija ar zemu pārliecību, savukārt Luna bieži kļūdījās ar augstu pārliecību.
Hibrīda modelis
Jev nosūtot Opus tikai nenoteiktos gadījumus (ticamība 30–90%, 22% identitāšu), precizitāte sasniedza 98,8% par 0,88 USD uz 1000. Grūtākajā testā šāda shēma deva 95,3% pret Opus 95,1%, izmaksājot 2,94 USD pret 5,39 USD. Luna un Opus kombinācija grūtākajā testā sasniedza 91,6%.
