Kog vēlas no GPU izspiest vairāk AI secinājumu veiktspējas

Francijas jaunuzņēmums Kog uzskata, ka esošos datucentru grafikas procesorus (GPU) iespējams padarīt ievērojami efektīvākus AI secinājumu veikšanai. Uzņēmums maijā nonāca Hacker News pirmajā lapā ar tehnoloģisko priekšskatījumu, kurā demonstrēja ātru vienas pieprasījuma dekodēšanu ar standarta AMD MI300X un NVIDIA H200 GPU, kas jau ir uzņēmumu rīcībā. Lai gan daži pauda vilšanos, ka risinājums neattiecas uz laptopu GPU, citi saskatīja potenciālu.

Kog izpilddirektors Gaēls Delalē (Gaël Delalleau) sacīja, ka pēc priekšskatījuma uzņēmums saņēmis 200 konkrētus biznesa kontaktus. Pēc viņa teiktā, sākotnējā atgriezeniskā saite liecina, ka pirmais lietošanas gadījums varētu būt programmatūras inženierija. Daudzi Claude Code lietotāji saskaras ar ilgiem gaidīšanas laikiem, bet Anthropic par Claude ātro režīmu iekasē papildu maksu. Kog cer piesaistīt klientus, kurus šie kavējumi bremzē profesionālajos uzdevumos.

Uzņēmums arī sadarbojas ar partneriem, kas ļauj lietotājiem ar uzvedni ģenerēt spēles un lietotnes, un ātrāki rezultāti ar Kog Inference Engine (KIE) tiem nozīmētu lielākus ieņēmumus.

Kog apzinās, ka tirgus vēl nav nobriedis, un novērojusi, ka potenciālie klienti nav gatavi pielāgot mazos modeļus. Tāpēc kopš palaišanas uzņēmums koncentrējies uz lielāku modeļu attīstības paātrināšanu. Savā demonstrācijā Kog sasniedza 3000 tokenus sekundē, taču ar speciāli radītu aptuveni 2 miljardus parametru lielu atvērtā koda modeli Laneformer 2B. Solījums ir 30x ātrāka lielo valodas modeļu (LLM) secinājumu veikšana.

Delalē uzskata, ka GPU nākotne ir spoža — jaunākajiem GPU ir arvien vairāk atmiņas joslas platuma, ko var atbloķēt ar programmatūras optimizāciju. Līdzīgas idejas ir arī citiem: Francijas uzņēmums ZML laidis klajā programmatūru, kas apiet NVIDIA CUDA un atbalsta ātru secinājumu veikšanu dažādās mikroshēmās. Delalē gan saka, ka Kog savā pieejā ir vēl dziļāk — līdzīgi Stenfordas Hazy Research laboratorijai.

Pats Delalē studējis cietvielu fiziku un strādājis ofensīvās kiberdrošības jomā. Viņš stāsta, ka šī pieredze palīdz izprast GPU fiziku un veikt zema līmeņa reverso inženieriju. Tomēr tas ir laikietilpīgi: katrai jaunai GPU mikroshēmai komanda veltot vairākas nedēļas vai mēnešus. 11 cilvēku komandas dēļ Kog pagaidām var strādāt ar ierobežotu mikroshēmu skaitu. Ilgtermiņā uzņēmums cer automatizēt šo metodiku, lai atbalstītu vairāk mikroshēmu un modeļu.

Eiropai veidojot savas spējas, Kog varētu gūt labumu no suverenitātes atbalsta — to jau atbalsta Scaleway, Bpifrance un French Tech 2030 programma. Taču vispirms Kog jāpierāda, ka tā pieeja darbojas ar lieliem valodas modeļiem. Delalē cer, ka septembrī tiks ieviests pirmais lielais modelis ar 10x ātrumu, un tad uzņēmums varēs piesaistīt Series A finansējumu.