Google je predstavil Gemini Odločitve API, novo končno točko za aplikacije, ki potrebujejo omejene odgovore namesto ustvarjene proze. API, ki je bil izdan 11. novembra, lahko v eni zahtevi oceni kar 1000 vprašanj z odgovorom da ali ne, vprašanj z več možnimi odgovori ali točkovanja po rubrikah.
Končna točka sprejema vnose besedila, slik, zvoka, videa in PDF znotraj omejitve vnosa 256.000 žetonov. Namesto da bi vrnil esej ali odgovor v klepetu, ustvari verjetnosti in rezultate zaupanja, ki jih lahko programska oprema uporabi za razvrščanje, razvrščanje, preverjanje politik in usmerjanje. Google pravi, da se zahteve lahko dokončajo z zakasnitvijo od konca do konca od 150 do 250 milisekund, čeprav ta številka o zmogljivosti še ni bila neodvisno določena med proizvodnimi delovnimi obremenitvami.
Ločena API površina za odločitve
Izdaja je bolj posledična kot dodajanje drugega Gemini modela v katalog ponudnika. Večina OpenAI-združljivih integracij predvideva generativno zahtevo: odjemalec pošlje sporočila ali vhodne elemente, model vrne besedilo ali strukturiran izhod, ponudnik pa zaračuna neko kombinacijo vhodnih in izhodnih žetonov.
Gemini Odločitve uporabljajo drugačno pogodbo. Aplikacija priskrbi izvorno gradivo in omejen nabor vprašanj, nato pa prejme številčne dokaze za vsak možen odgovor. Ta zasnova je primerna za naloge, kot je odločanje, ali naj vsebina vstopi v čakalno vrsto za pregled, izbira modela za zahtevo, ocenjevanje pridobljenega konteksta ali uporaba dokumentirane rubrike točkovanja.
Razvijalci bi lahko te poteke dela približali običajnemu ustvarjanju besedila, vendar ustvarjeni odgovori zahtevajo razčlenjevanje in lahko vnesejo besedilo, ki ga aplikacija ne potrebuje. Namensko ustvarjena končna točka odločitve zagotavlja bolj ekspliciten vmesnik: pomemben izhod je izbrana možnost in z njo povezana verjetnost ali zaupanje, ne pa odlomek v prozi.
Cena spremeni model merjenja
Google navaja ceno 0,10 USD za milijon vhodnih žetonov in ne zaračunava izhodnih žetonov. To je precejšen odmik od obračunavanja input-output, ki ga uporabljajo običajni modeli proizvodnje. Pomeni tudi, da lahko zahteva vrne komercialno pomembne podatke, čeprav je število zaračunljivih izhodnih žetonov nič.
Upravljavci prehodov se zato ne morejo zanesti samo na skupne vrednosti žetonov. Zapisi o uporabi morajo ohraniti vrsto delovne obremenitve, obseg vnosa, število vprašanj in ustrezne metapodatke odgovorov. Sistemi, ki ponujajo poenoteno umetno inteligenco API zaračunavanje, bodo morda potrebovali tudi ločeno pravilo cenovnika, da se vrednost izhodnega žetona nič ne zamenja za manjkajoči ali nepopolni zapis o uporabi.
Razporeditev ustvari še eno operativno vprašanje. Podpora za do 1000 vprašanj v eni zahtevi lahko zmanjša obremenitev omrežja, vendar se bodo podjetja še vedno morala odločiti, kako se to delo pripisuje interno. En API klic lahko predstavlja na stotine moderacijskih preverjanj, odločitev o usmerjanju ali rezultatov dokumentov, izvedenih za različne izdelke ali stranke.
Združljivost presega spreminjanje imena modela
Model je na voljo prek Gemini API v Google AI Studio. Za ekipe, ki neposredno kličejo Google, bo sprejetje zahtevalo odjemalca, ki razume njegove k odločanju usmerjene strukture zahtev in odgovorov. Za večmodelni API prehod za ekipe bi razkritje končne točke, kot da bi bil navaden model klepeta, skrilo pomembno vedenje in lahko povzročilo dvoumnost obravnave napak, analitike in zaračunavanja.
Čistejša zasnova prehoda bi opredelila odločitve kot ločen razred delovne obremenitve. Politika usmerjanja bi nato lahko poslala omejeno klasifikacijo in točkovanje na novo končno točko, medtem ko bi rezervirala generativne modele za zahteve, ki dejansko zahtevajo jezikovni izpis. Kontrole za sprejem bi morale pred posredovanjem zahteve preveriti tudi število vprašanj, podprte medije in velikost vnosa.
Podatki o zaupanju si zaslužijo skrbno obravnavo. Ocena je uporabna za pragove in pravila stopnjevanja, ni pa dokaz, da je odločitev pravilna ali umerjena za vsako domeno. Ekipe, ki uporabljajo API za posledično politiko ali delovne poteke skladnosti, bodo raje potrebovale lastna vrednotenja, teste pragov in poti človeških pregledov, kot pa sprejetje ene univerzalne omejitve.
Kaj ostaja nedokazano
ObjavaGoogle določa obliko API, objavljeno ceno in zahtevano zakasnitev, vendar so neodvisni dokazi o razpoložljivosti proizvodnje in uspešnosti še vedno omejeni. Zakasnitev v realnem svetu bo odvisna tudi od velikosti tovora, obdelave predstavnosti, geografskega položaja in obsega zahtev.
Takojšnja inženirska naloga je torej nadzorovano vrednotenje in ne široka zamenjava obstoječih klasifikatorjev. Razvijalci bi morali preizkusiti reprezentativne multimodalne vnose, primerjati rezultate zaupanja z znanimi rezultati in preveriti, kako se napake in delni rezultati obnašajo v velikih skupinah vprašanj. Skupine za prehode in platforme bi morale dodatno potrditi, da lahko njihovi dnevniki razlikujejo zahtevo za odločitev od generiranja, preden dajo končno točko na voljo strankam.