Google Cloud on lisanud Gemini Enterprise'i jaoks uued arveldamise paindlikkuse ja kulude haldamise tööriistad, mis asetab tehisintellekti kulutuste kontrollimise agentide loomise ja haldamise meeskondadele lähemale.

Muudatus on oluline, kuna agendi töökoormused ei käitu nagu traditsioonilised SaaS-i kohad. Kodeerimisagent, tugiagent või töövoo agent saab helistada mitmele mudelile, kutsuda korduvalt tööriistu ja genereerida muutuvat kasutust kasutajate, projektide ja keskkondade lõikes. See muudab kulude tagantjärele seletamise raskemaks. Google käsitleb seda probleemi nüüd Gemini Enterprise'i ja selle arendajate ökosüsteemi tootepinnana, mitte ei jäta seda täielikult standardse pilvearvelduse eksportimise hooleks.

Vastavalt teenusele Google Cloud on Gemini Enterprise'i tellimustega kaasatud arendajatööriistade kvoot nüüd ühendatud Google Cloudi projekti tasemel. Ettevõte kirjeldab ka laiendatud arvelduspaindlikkust agentide töökoormuse jaoks Gemini Enterprise'is ja arendajatööriistades, sealhulgas Google Antigravity's Gemini Enterprise'is ja Android Studios. Eraldi kirjeldatakse Google Cloudi dokumentatsioonis tehisintellekti kulude kokkuvõtte agenti, mis suudab analüüsida Gemini kasutamist, sealhulgas Gemini API ja Vertex AI kulutusi, ning jagada tehisintellekti kulutused API võtme järgi.

Mis muutus

Kõige konkreetsem operatiivne muudatus on projektitasemel koondamine arendajatööriistade kvoodi jaoks, mis on seotud Gemini Enterprise'i tellimustega. Selle asemel, et mõelda ainult üksikutele kasutajatele, kes tarbivad eraldi kvoote, saavad organisatsioonid hallata kaasatud kvoote projekti tasemel. Insenerimeeskondade jaoks on see lähemal sellele, kuidas tehisintellekt on tegelikult korraldatud: toote, keskkonna, meeskonna, rakenduse või kliendile suunatud töövoo järgi.

Teine tehisintellekti kulude kokkuvõtte agent on teine tähelepanuväärne tükk. Google kirjeldab seda tööriistana Gemini kasutuse ja tehisintellekti kulutuste analüüsimiseks Gemini API ja Vertex AI vahel. Dokumentatsioon ütleb, et see võib jaotada kulutused API-võtme järgi, mis on tänapäevaste AI-süsteemide jaoks oluline omistamistase. API võtmed seostatakse sageli teenuste, sisemiste tööriistade, eksperimentide, rentnike või agendi töövoogudega. Kui arved tõusevad, on kasulik küsimus harva lihtsalt "milline mudel oli kallis?" See on „milline töökoormus, võti, rakendus või meeskond muudatuse põhjustas?”

See eristamine on eriti oluline agendi töökoormuse puhul. Üks kasutaja päring võib käivitada planeerimise, otsingu, tööriistakutsete, arutlustoimingute, koodi täitmise või mudelite järelkutse. Ilma omistamiseta näevad finantstiimid arvet, insenerimeeskonnad logisid ja kummalgi poolel pole juhtunust selget ühist ülevaadet.

Miks on see agendiplatvormide jaoks oluline

AI arveldamisest on saamas konkurentsivõimeline funktsioon. API kasutuselevõtu esimese laine ajal domineerisid ostuvestluses mudelile juurdepääs ja etalonide jõudlus. Kasutamise üleminekul tootmisse muutusid lahendamata probleemid igapäevasemaks ja kallimaks: eelarved, arved, omistamine, vahemälu arvestus, projektilimiidid, anomaaliate tuvastamine ja pakkujate võrdlus.

Google'i samm on signaal, et hüperskaalaplatvormid eeldavad, et ostjad nõuavad neid juhtelemente otse tehisintellekti toodete sees. Gemini Enterprise'i ei positsioneerita ainult mudelite kasutamise kohana. See on üha enam koht, kus saab hallata mudelite ulatusliku kasutamise tagajärgi.

See muudab ülejäänud turu ootusi. Kui pilvepõhised tehisintellektikomplektid suudavad kulutusi selgitada projekti ja API-võtmega, eeldatakse, et mitme mudeli platvormid ja lüüsid teevad vähemalt sama palju kõigi pakkujate vahel. Meeskond, kes kasutab OpenAI, Anthropic, Google'i, AWS-i hostitud mudeleid ja avatud kaaluga juurutusi ühe rakenduste virna kaudu, ei saa tugineda ainult ühe pilve FinOpsi kihile. See vajab normaliseeritud vaadet kasutuse, mudelivaliku ja maksumuse kohta kogu kinnisvara ulatuses.

Model Gate'i ja sarnaste OpenAI-ga ühilduvate lüüside puhul on praktiline ühendus otsene. Ühtne arveldamine ja tehisintellekti kasutamise analüüs ei ole enam tagakontori mugavused. Need on osa juhttasandist, mida arendajad ja ettevõtete omanikud kasutavad, et otsustada, millised mudelid peaksid olema saadaval, millised meeskonnad saavad neid kasutada ja millal on töökoormus kavandatud käitamiseks liiga kulukaks muutunud.

Keda see mõjutab

Gemini API-d või Vertex AI-d kasutavad ettevõtete arendajad on kõige vahetum vaatajaskond. Mitme API-võtme, teenusekonto, keskkonna või siseagentiga meeskonnad peaksid saama paremaid signaale selle kohta, kust Geminiga seotud kulutused tulevad, eeldades, et nad võtavad kasutusele uued tööriistad ja korraldavad oma projekte puhtalt.

Mõjutatud on ka finants- ja hankemeeskonnad. Tehisintellekti kulusid võib olla raske prognoosida, kuna kasutusskaalad sõltuvad ülesannete mahust ja agendi käitumisest, mitte ainult töötajate arvust. Projektitaseme kvootide koondamine ja API-võtmetaseme aruandlus võivad muuta sisemise tagasimakse, eelarve ülevaatamise ja uuendamise planeerimise vähem sõltuvaks käsitsi arvutustabelitööst.

AI-funktsioone loovatel tootemeeskondadel on erinev mure: marginaal. Kui kliendile suunatud agent kasutab liiga sageli premium-mudelit või kui taustatöövoog proovib liiga palju uuesti, võivad kulud vaikselt ületada selle funktsiooniga seotud tulu. Parem omistamine aitab meeskondadel neid mustreid tabada enne, kui need muutuvad struktuurseteks kadudeks.

Agentuurid, edasimüüjad ja hallatavate teenuste pakkujad peaksid samuti tähelepanu pöörama. Kliendid ei küsi üha enam mitte ainult seda, kas tehisintellekti funktsioon töötab, vaid ka seda, kas selle kasutamist saab reguleerida. Partnerite jaoks, kes loovad teenuseid mitme mudeliga API-le, saavad pakkumise osaks kuluaruandlus kliendi, projekti, API võtme ja mudeli järgi.

Google'i lähenemise piirid

Avatud küsimus on, kui palju need tööriistad AI kogukulutusi praktikas vähendavad. Google'i sõnum tehisintellekti „kleebisešoki” vältimise kohta on arusaadav, kuid kokkuhoid sõltub klientide käitumisest: kas meeskonnad määravad eelarved, tegutsevad kõrvalekallete korral, muudavad mudelivalikuid, parandavad ebatõhusaid agente või kujundavad ümber töövood. Nähtavus on vajalik, kuid see ei ole sama, mis optimeerimine.

Seal on ka lukustamise küsimus. Natiivsed pilvekulu tööriistad on kasulikud nende enda ökosüsteemis, kuid paljud ettevõtted jaotavad tehisintellekti töökoormust teadlikult pakkujate vahel. Gemini-spetsiifiline või Google'i pilvekeskne vaade ei pruugi selgitada sellise rakenduse täielikku maksumust, mis kutsub ka mujal OpenAI-ga ühilduvaid lõpp-punkte, kasutab piirkondlikuks marsruutimiseks Bedrocki või käitab privaatselt avatud kaaluga mudeleid.

See on koht, kus lüüsid võivad ikkagi väärtust lisada. Pilveteenuse pakkuja saab oma teenuste jaoks paljastada rikkalikke üksikasju. Lüüs võib normaliseerida mudelipakkujate, API-võtmete, meeskondade, rakenduste ja klientide kasutust ja arveldamist. Mida rohkem pilvemüüjad teevad tehisintellekti FinOpsi nähtavaks, seda rohkem nõuavad ostjad iga kasutatava mudeli puhul sama nähtavust.

Mida arendajad peaksid nüüd tegema?

Gemini Enterprise'i kasutavad meeskonnad peaksid üle vaatama, kuidas projektid ja API võtmed on üles ehitatud. Kui võtmeid jagatakse liiga paljude rakenduste või keskkondade vahel, on API-võtme tasemel kuluaruandlus vähem kasulik. Puhas omistamine algab tootmise eraldamisest arendusest, klientidele suunatud teenuste eraldamisest katsetest ja kõrge riskiga agentide eraldamisest tavalisest interaktiivsest kasutamisest.

Arendajad peaksid käsitlema ka kuluandmeid insenerisignaalina. Mudelikulude hüppeline tõus võib paljastada ebatõhusate viipade, põgenenud agenditsüklite, ootamatute korduskatsete, liigsete kontekstiakende või mudelivalikute, mis ülesandega enam ei vasta. Kulude jälgitavus kuulub latentsusaja, veamäära ja kvaliteedi hindamise kõrvale, mitte igakuise arve ülevaatuse alla pärast kahju tekkimist.

Google'i teade ei ole lihtsalt järjekordne arvelduse uuendus. See peegeldab laiemat nihet tehisintellekti infrastruktuuris: kuna agendid muutuvad autonoomsemaks ja API kasutus muutub muutuvamaks, on platvormi põhinõudeks saamas oskus selgitada ja kontrollida kulutusi.