Google a introdus Gemini Deciziile API, un nou punct final pentru aplicațiile care au nevoie de răspunsuri limitate mai degrabă decât de proză generată. Lansat pe 11 noiembrie, API poate evalua până la 1.000 de întrebări da sau nu, cu răspunsuri multiple sau cu punctaj rubrica într-o singură solicitare.

Punctul final acceptă intrări de text, imagini, audio, video și PDF într-o limită de introducere de 256.000 de jetoane. În loc să returneze un eseu sau un răspuns prin chat, acesta produce probabilități și scoruri de încredere pe care software-ul le poate folosi pentru clasificare, clasare, verificări ale politicilor și rutare. Google spune că solicitările pot fi finalizate cu o latență de la capăt la capăt de la 150 la 250 de milisecunde, deși această cifră de performanță nu a fost încă stabilită independent în toate sarcinile de producție.

O suprafață separată API pentru decizii

Versiunea este mai importantă decât adăugarea unui alt model Gemini la un catalog de furnizori. Cele mai multe integrări compatibile OpenAI presupun o solicitare generativă: clientul trimite mesaje sau elemente de intrare, modelul returnează text sau ieșire structurată, iar furnizorul taxează pentru o combinație de jetoane de intrare și de ieșire.

Gemini Deciziile utilizează un alt contract. O aplicație furnizează material sursă și un set limitat de întrebări, apoi primește dovezi numerice pentru fiecare răspuns posibil. Designul respectiv este potrivit pentru sarcini precum decizia dacă conținutul trebuie să intre într-o coadă de examinare, selectarea unui model pentru o solicitare, evaluarea contextului preluat sau aplicarea unei grile de punctare documentate.

Dezvoltatorii ar putea aproxima aceste fluxuri de lucru cu generarea obișnuită de text, dar răspunsurile generate necesită analizare și pot introduce formularea de care aplicația nu are nevoie. Un punct final de decizie creat special oferă o interfață mai explicită: rezultatul semnificativ este opțiunea selectată și probabilitatea sau încrederea asociată acesteia, nu un pasaj de proză.

Prețul modifică modelul de contorizare

Google afișează prețul la 0,10 USD per milion de jetoane de intrare și nu facturează jetoanele de ieșire. Aceasta este o abatere substanțială de la contabilitatea input-output utilizată de modelele de generație convenționale. Înseamnă, de asemenea, că o solicitare poate returna date importante din punct de vedere comercial, chiar dacă numărul de jetonuri de ieșire facturabile este zero.

De aceea, operatorii de gateway nu se pot baza doar pe totalurile de simboluri. Înregistrările de utilizare trebuie să păstreze tipul sarcinii de lucru, volumul de intrare, numărul de întrebări și metadatele relevante ale răspunsurilor. Sistemele care oferă AI unificată API facturare pot avea nevoie, de asemenea, de o regulă separată de tarif, astfel încât o valoare zero a simbolului de ieșire să nu fie confundată cu o înregistrare de utilizare lipsă sau incompletă.

Locurile creează o altă întrebare operațională. Suportul a până la 1.000 de întrebări într-o singură solicitare poate reduce supraîncărcarea rețelei, dar companiile vor trebui totuși să decidă modul în care această muncă este atribuită intern. Un apel API poate reprezenta sute de verificări de moderare, decizii de rutare sau scoruri ale documentelor efectuate pentru diferite produse sau clienți.

Compatibilitatea depășește schimbarea numelui unui model

Modelul este disponibil prin Gemini API din Google AI Studio. Pentru echipele care apelează direct la Google, adoptarea va necesita un client care să-și înțeleagă structurile de solicitare și răspuns orientate către decizii. Pentru o gateway multi-model API pentru echipe, expunerea punctului final ca și cum ar fi un model obișnuit de chat ar ascunde un comportament important și ar putea face ambiguă gestionarea erorilor, analiza și facturarea.

Un design de gateway mai curat ar identifica deciziile ca o clasă distinctă a sarcinii de lucru. Politica de rutare ar putea trimite apoi clasificarea limitată și lucrul de punctare către noul punct final, rezervând în același timp modele generative pentru solicitările care necesită de fapt ieșire în limbaj. Controalele de admitere ar trebui, de asemenea, să valideze numărul de întrebări, conținutul media acceptat și dimensiunea de intrare înainte de a redirecționa o solicitare.

Datele de încredere merită un tratament atent. Un scor este util pentru praguri și reguli de escaladare, dar nu este o dovadă că o decizie este corectă sau calibrată pentru fiecare domeniu. Echipele care folosesc API pentru politicile în consecință sau fluxurile de lucru de conformitate vor avea nevoie de propriile lor evaluări, teste de prag și căi de analiză umană, în loc să adopte o limită universală.

Ceea ce rămâne nedovedit

Anunțul lui

Google stabilește forma API, prețul publicat și latența revendicată, dar dovezile independente despre disponibilitatea și performanța producției rămân limitate. Latența în lumea reală va depinde și de dimensiunea încărcăturii utile, procesarea media, zona geografică și volumul solicitărilor.

Sarcina de inginerie imediată este, prin urmare, evaluarea controlată, mai degrabă decât înlocuirea amplă a clasificatoarelor existente. Dezvoltatorii ar trebui să testeze intrările multimodale reprezentative, să compare scorurile de încredere cu rezultatele cunoscute și să verifice modul în care erorile și rezultatele parțiale se comportă în loturi mari de întrebări. Echipele de gateway și platforme ar trebui să confirme în plus că jurnalele lor pot distinge o solicitare de decizie de generare înainte de a pune punctul final la dispoziția clienților.