Google ha introdotto le Gemini Decisioni API, un nuovo endpoint per le applicazioni che necessitano di risposte limitate anziché di prosa generata. Rilasciato l'11 novembre, il API può valutare fino a 1.000 domande sì o no, a scelta multipla o con punteggio in una sola richiesta.
L'endpoint accetta input di testo, immagini, audio, video e PDF entro un limite di input di 256.000 token. Invece di restituire un saggio o una risposta in chat, produce probabilità e punteggi di confidenza che il software può utilizzare per la classificazione, la classificazione, i controlli delle politiche e il routing. Google afferma che le richieste possono essere completate con una latenza end-to-end compresa tra 150 e 250 millisecondi, sebbene tale cifra prestazionale non sia stata ancora stabilita in modo indipendente per i carichi di lavoro di produzione.
Una API superficie separata per le decisioni
Il rilascio è più importante dell'aggiunta di un altro Gemini modello al catalogo di un fornitore. La maggior parte delle integrazioni compatibili con OpenAI presuppone una richiesta generativa: il client invia messaggi o elementi di input, il modello restituisce testo o output strutturato e il provider addebita una combinazione di token di input e output.
Gemini Decisions utilizza un contratto diverso. Un'applicazione fornisce materiale di partenza e una serie limitata di domande, quindi riceve prove numeriche per ogni possibile risposta. Questo design è adatto ad attività come decidere se i contenuti devono entrare in una coda di revisione, selezionare un modello per una richiesta, valutare il contesto recuperato o applicare una griglia di punteggio documentata.
Gli sviluppatori potrebbero approssimare questi flussi di lavoro con la normale generazione di testo, ma le risposte generate richiedono l'analisi e possono introdurre parole di cui l'applicazione non ha bisogno. Un endpoint decisionale mirato fornisce un'interfaccia più esplicita: l'output significativo è l'opzione selezionata e la probabilità o confidenza ad essa associata, non un passaggio di prosa.
Il prezzo cambia il modello di misurazione
Google elenca il prezzo a $ 0,10 per milione di token di input e non fattura i token di output. Si tratta di un sostanziale allontanamento dalla contabilità input-output utilizzata dai modelli di generazione convenzionali. Significa anche che una richiesta può restituire dati importanti dal punto di vista commerciale anche se il conteggio dei token di output fatturabili è pari a zero.
Gli operatori del gateway pertanto non possono fare affidamento solo sui totali dei token. I record di utilizzo devono preservare il tipo di carico di lavoro, il volume di input, il numero di domande e i metadati di risposta pertinenti. I sistemi che offrono AI unificata API fatturazione potrebbero anche aver bisogno di una regola tariffaria separata in modo che un valore del token di output pari a zero non venga scambiato per un record di utilizzo mancante o incompleto.
Il raggruppamento crea un'altra domanda operativa. Supportare fino a 1.000 domande in una richiesta può ridurre il sovraccarico della rete, ma le aziende dovranno comunque decidere in che modo tale lavoro viene attribuito internamente. Una API chiamata potrebbe rappresentare centinaia di controlli di moderazione, decisioni di routing o punteggi di documenti eseguiti per prodotti o clienti diversi.
La compatibilità va oltre la modifica del nome del modello
Il modello è disponibile tramite Gemini API in Google AI Studio. Per i team che chiamano direttamente Google, l'adozione richiederà un cliente che comprenda le sue strutture di richiesta e risposta orientate alla decisione. Per un gateway multi-modello API per team, esporre l'endpoint come se fosse un normale modello di chat nasconderebbe comportamenti importanti e potrebbe rendere ambigue la gestione degli errori, l'analisi e la fatturazione.
Una progettazione del gateway più pulita identificherebbe le decisioni come una classe di carico di lavoro distinta. La policy di routing potrebbe quindi inviare una classificazione limitata e un lavoro di punteggio al nuovo endpoint riservando modelli generativi per le richieste che richiedono effettivamente l'output linguistico. I controlli di ammissione dovrebbero inoltre convalidare il numero di domande, i media supportati e le dimensioni dell'input prima di inoltrare una richiesta.
I dati sulla fiducia meritano un trattamento attento. Un punteggio è utile per le soglie e le regole di escalation, ma non è la prova che una decisione sia corretta o calibrata per ogni ambito. I team che utilizzano API per policy consequenziali o flussi di lavoro di conformità avranno bisogno delle proprie valutazioni, test di soglia e percorsi di revisione umana anziché adottare un limite universale.
Ciò che resta non dimostrato
L'annuncio diGoogle stabilisce la forma API, il prezzo pubblicato e la latenza dichiarata, ma le prove indipendenti sulla disponibilità e sulle prestazioni della produzione rimangono limitate. La latenza nel mondo reale dipenderà anche dalle dimensioni del payload, dall'elaborazione multimediale, dall'area geografica e dal volume delle richieste.
Il compito ingegneristico immediato è quindi una valutazione controllata piuttosto che un'ampia sostituzione dei classificatori esistenti. Gli sviluppatori dovrebbero testare input multimodali rappresentativi, confrontare i punteggi di confidenza con i risultati noti e verificare come si comportano gli errori e i risultati parziali in grandi lotti di domande. I team del gateway e della piattaforma devono inoltre confermare che i loro log siano in grado di distinguere una richiesta di decisione dalla generazione prima di rendere l'endpoint disponibile ai clienti.