OpenRouter on lisanud tegevuste armatuurlaua ja Analyticsi API klientidele, kes peavad mõistma, kust mudelikasutus ja kulud pärinevad. 17. augustil välja kuulutatud väljalase annab meeskondadele jaotused dimensioonide lõikes, nagu agent, rakendus, meeskonnaliige, API-võti, mudel, pakkuja ja tööruum.
See võib tunduda aruandlusfunktsioonina. Praktikas on see märk sellest, et AI kasutusanalüütika on muutumas AI infrastruktuuri põhiosaks, mitte administratiivseks lisandmooduliks. Kuna ettevõtted lähevad üle ühe vestlusroboti katsetelt mitme agendi, kodeerimistööriistade, sisemiste rakenduste ja klientidele suunatud automatiseeringute juurde, ei piisa enam ühest kogukulust. Meeskonnad peavad teadma, milline töövoog koostas arve, millist mudelit kasutati, kui palju vahemällu salvestamine aitas ja kas latentsus või läbilaskevõime muutus pärast marsruutimisotsust.
OpenRouter ütleb, et uus toode sisaldab selliseid mõõdikuid nagu kulutused, taotluste arv, loa maht, vahemälu tabamusmäär, kombineeritud kulu miljoni märgi kohta, latentsusprotsentiilid ja läbilaskevõime protsentiilid. Samuti öeldakse, et Analyticsi API sisaldab metaandmeid ja päringu lõpp-punkte ning nõuab haldusvõtit.
Mis muutus
Kõige olulisem muudatus ei seisne lihtsalt selles, et OpenRouter lisas diagramme. See seisneb selles, et ettevõte avaldab kasutus- ja kuluanalüüsi tasemel, mis on lähemal sellele, kuidas tänapäevased AI-süsteemid tegelikult üles ehitatakse.
Paljudes organisatsioonides ei ole tehisintellekti töö üksus enam vestlusaknasse tippiv kasutaja. See võib olla agent, mis failib tõmbetaotlusi, tausta kokkuvõtte töö, CRM-i manustatud müügiassistent, tugitöövoog, andmete puhastusprotsess või lüüsi peale ehitatud partnerrakendus. Igaüks neist saab helistada erinevatele mudelitele erinevate pakkujate kaudu, erinevate API-võtmete all, erineva vahemällu salvestamise ja latentsusnõuetega.
Toetades agentide, rakenduste, meeskonnaliikmete, API-võtmete, mudelite, pakkujate ja tööruumide omistamist, tunnistab OpenRouter, et tehisintellekti kulude juhtimine sõltub kontekstist. Ühe mudeli kõrge arve võib olla vastuvõetav, kui see kuulub tulu teenivasse kliendi töövoogu. Sisemise katse sama arve jaoks võib olla vaja eelarve ülempiiri. Latentsuspikk võib elustoote puhul olla oluline, kuid öise partiiprotsessi puhul ei oma see tähtsust. Madal kombineeritud hind miljoni märgi kohta võib varjata nõrka vahemälu kasutust või varutee, mis viis päringud vaikselt üle kallimale mudelile.
Miks on see lüüside ja platvormimeeskondade jaoks oluline
AI API lüüsi puhul on marsruutimine vaid pool tööst. Kui lüüs saab saata päringuid mitmele mudelile ja pakkujale, vajavad kliendid tõendit marsruutimisotsuste toimimise kohta. See tõend tuleneb vaadeldavusest: taotlused, märgid, kulutused, latentsusaeg, vahemälu käitumine ja tõrkemustrid, mis on seotud neid loonud meeskondade ja rakendustega.
Uus OpenRouteri käivitamine tõstab mitme mudeli infrastruktuuri konkurentsivõimet. Tõenäoliselt ootavad arendajad ja finantsmeeskonnad põhjalikku rakendusliidese võtme ja mudeli järgi. Platvormi meeskonnad soovivad vaateid tööruumi tasemel ja meeskonnaliikmete tasemel. Agendikoostajad soovivad agentide kohta omistamist, sest vastasel juhul võivad autonoomsed töövood muutuda mitteomatud kulukeskusteks. Partnerid ja edasimüüjad soovivad API-juurdepääsu analüütikale, et nad saaksid manustada kasutusaruandeid oma armatuurlauale.
See on eriti oluline selliste platvormide puhul nagu Model Gate, kus ühtne arveldamine, API-võtmehaldus, meeskonna juhtelemendid, kasutusanalüütika ja partneri API on osa toote pinnast. Kui kliendid kasutavad paljusid allavoolu teenuseid ühe OpenAI-ga ühilduva liidese kaudu, peab lüüs vastama rohkem kui "kui palju me kulutasime?" See peab vastama "kes kulutas selle, millise võtme kaudu, millise mudeli, millise rakenduse jaoks, millise latentsusajaga ja millise vahemälu efektiivsusega?"
See ootus muudab ka seda, kuidas tootetiimid API võtmeid kujundavad. Võtmed ei ole ainult mandaadid; need on omistamispiirid. Kui iga töövoog jagab ühte võtit, muutub analüütika vähem kasulikuks. Kui võtmed seostuvad keskkondade, meeskondade, agentide või klientidega, võivad armatuurlauad ja API-d saada praktiliseks juhtimise ja arveldamise tööriistaks.
Praktilised tagajärjed arendajatele ja ettevõtetele
Arendajad peaksid seda käsitlema kui üleskutset uuesti läbi vaadata märgistamise, võtmestruktuuri ja logimistavad. Agendipõhine analüüs töötab ainult siis, kui päringuid saab seostada õige agendi või rakendusega. Sisemisi AI-platvorme loovad meeskonnad võivad vajada metaandmete, tööruumi eraldamise ja keskkonnaspetsiifiliste võtmete konventsioone. Ilma nende tavadeta võib isegi tugev analüütikatoode koostada mitmetähenduslikke aruandeid.
Finants- ja operatsioonimeeskonnad peaksid pöörama tähelepanu ka vahemälu mõõdikutele ja kombineeritud kulule miljoni märgi kohta. Kuna pakkujad tutvustavad keerukamaid hinnakujundusmudeleid, sealhulgas vahemällu salvestatud žetoonide allahindlusi ja mudelipõhiseid hindu, ei piisa arve selgitamiseks töötlemata märgi mahust.Töövoog, mis saadab palju märke, võib olla tõhus, kui vahemälu tabamusmäär on kõrge. Teine väiksema helitugevusega seade võib olla kulukas, kui sellel ei ole korduvalt vahemälu, see kasutab tarbetult esmaklassilisi mudeleid või käivitab varud.
Laitentsus- ja läbilaskevõime protsentiilid on võrdselt olulised. Keskmine latentsusaeg võib varjata saba käitumist, mis kahjustab kasutajale suunatud tooteid. Protsentiilvaated aitavad meeskondadel mõista, kas mudel on enamiku ajast kiire, kuid koormuse all ebausaldusväärne või kas pakkuja sobib interaktiivseks kasutamiseks võrreldes paketttöötlusega. Marsruutimissüsteemide puhul võivad need andmed toita poliitikaotsuseid: säilitada taustatööde jaoks odav mudel, reserveerida kiiremad või kallimad valikud klientidele suunatud teede jaoks ja anda märku, kui toimivus halveneb.
Agentuuride, SaaS-i koostajate ja muude partnerite või edasimüüjate mudelit kasutavate ettevõtete jaoks võib Analyticsi API olla olulisem kui armatuurlaud. API-juurdepääsetav aruandlus võimaldab luua klientidele suunatud kasutuslehti, eelarvehoiatusi, sisemist tagasimakset, marginaali analüüsi ja poliitika automatiseeritud jõustamist. Partner API automatiseerimiskiht muutub usaldusväärsemaks, kui see võib avaldada kulu- ja toimivusandmeid, mitte ainult juurdepääsu pakkumisele.
Mis jääb ebakindlaks
OpenRouteri teadaandes kirjeldatakse saadaolevaid dimensioone ja mõõdikuid, kuid pikaajaline mõju sõltub sellest, kuidas meeskonnad andmeid kasutavad ja kui täielikuks API töövoogude jaoks muutub. Näiteks analüütika on kõige võimsam, kui see on seotud eelarve juhtelementide, marsruutimispoliitika, hoiatuste, ekspordi ja lubadega. Haldusvõtme nõue on tundlike arveldusandmete puhul mõistlik, kuid see tähendab ka seda, et kliendid peavad seda võtit käsitlema kõrge privileegi mandaadina.
Seal on ka laiem turuküsimus. Kuna tehisintellekti lüüsid, mudelturud ja pilveplatvormid konkureerivad, võib analüütika muutuda eristavaks mitte nii diagrammide endi, vaid pigem selle tõttu, kui hästi need ühenduvad valitsemisega. Võitnud muster ühendab tõenäoliselt kasutuse omistamise, API-võtmehalduse, meeskonnaõigused, eelarvepiirangud, mudelivaliku poliitika ja kontrolljäljed.
Praegu on OpenRouteri samm selge signaal: tehisintellekti kulutused on muutumas liiga hajutatuks, et hallata ainult arvete alusel. AI API kulude kontrolli järgmist etappi mõõdetakse agentide, võtmete, tööruumide ja marsruutimisvalikute tasemel.