Google introduziu o Gemini Decisões API, um novo endpoint para aplicativos que precisam de respostas limitadas em vez de prosa gerada. Lançado em 11 de novembro, o API pode avaliar até 1.000 questões de sim ou não, de múltipla escolha ou de pontuação de rubrica em uma única solicitação.
O endpoint aceita entradas de texto, imagens, áudio, vídeo e PDF dentro de um limite de entrada de 256.000 tokens. Em vez de retornar uma redação ou resposta de bate-papo, ele produz probabilidades e pontuações de confiança que o software pode usar para classificação, classificação, verificações de políticas e roteamento. Google afirma que as solicitações podem ser concluídas com latência ponta a ponta de 150 a 250 milissegundos, embora esse valor de desempenho ainda não tenha sido estabelecido de forma independente nas cargas de trabalho de produção.
Uma superfície API separada para decisões
O lançamento tem mais consequências do que adicionar outro Gemini modelo a um catálogo de provedor. A maioria das integrações compatíveis com OpenAI assume uma solicitação generativa: o cliente envia mensagens ou itens de entrada, o modelo retorna texto ou saída estruturada e o provedor cobra por alguma combinação de tokens de entrada e saída.
Gemini O Decisions usa um contrato diferente. Um aplicativo fornece material de origem e um conjunto limitado de perguntas e, em seguida, recebe evidências numéricas para cada resposta possível. Esse design é adequado para tarefas como decidir se o conteúdo deve entrar em uma fila de revisão, selecionar um modelo para uma solicitação, avaliar o contexto recuperado ou aplicar uma rubrica de pontuação documentada.
Os desenvolvedores poderiam aproximar esses fluxos de trabalho com a geração de texto comum, mas as respostas geradas exigem análise e podem introduzir palavras que o aplicativo não precisa. Um ponto de extremidade de decisão criado especificamente fornece uma interface mais explícita: o resultado significativo é a opção selecionada e sua probabilidade ou confiança associada, e não uma passagem de prosa.
O preço altera o modelo de medição
Google lista o preço de US$ 0,10 por milhão de tokens de entrada e não cobra tokens de saída. Isto representa um afastamento substancial da contabilização de entradas-saídas utilizada pelos modelos de geração convencionais. Isso também significa que uma solicitação pode retornar dados comercialmente importantes mesmo que sua contagem de tokens de saída faturáveis seja zero.
Portanto, os operadores de gateway não podem confiar apenas nos totais de tokens. Os registros de uso precisam preservar o tipo de carga de trabalho, o volume de entrada, o número de perguntas e os metadados de resposta relevantes. Os sistemas que oferecem IA unificada API faturamento também podem precisar de uma regra de tabela de preços separada para que um valor zero de token de saída não seja confundido com um registro de uso ausente ou incompleto.
O lote cria outra questão operacional. Suportar até 1.000 perguntas em uma solicitação pode reduzir a sobrecarga da rede, mas as empresas ainda precisarão decidir como esse trabalho será atribuído internamente. Uma chamada API pode representar centenas de verificações de moderação, decisões de roteamento ou pontuações de documentos realizadas para diferentes produtos ou clientes.
A compatibilidade vai além da alteração do nome do modelo
O modelo está disponível através do Gemini API no Google AI Studio. Para equipes que ligam diretamente para Google, a adoção exigirá um cliente que entenda suas estruturas de solicitação e resposta orientadas a decisões. Para um gateway multimodelo API para equipes, expor o endpoint como se fosse um modelo de chat comum ocultaria um comportamento importante e poderia tornar o tratamento de erros, a análise e o faturamento ambíguos.
Um design de gateway mais limpo identificaria as decisões como uma classe de carga de trabalho distinta. A política de roteamento poderia então enviar classificação limitada e trabalho de pontuação para o novo terminal, reservando modelos generativos para solicitações que realmente exigem saída de linguagem. Os controles de admissão também devem validar a contagem de perguntas, a mídia suportada e o tamanho da entrada antes de encaminhar uma solicitação.
Os dados de confiança merecem tratamento cuidadoso. Uma pontuação é útil para limites e regras de escalonamento, mas não é prova de que uma decisão esteja correta ou calibrada para todos os domínios. As equipes que usam o API para políticas conseqüentes ou fluxos de trabalho de conformidade precisarão de suas próprias avaliações, testes de limite e caminhos de revisão humana, em vez de adotar um ponto de corte universal.
O que ainda não foi comprovado
O anúncio deGoogle estabelece o formato API, o preço publicado e a latência reivindicada, mas evidências independentes sobre a disponibilidade e desempenho da produção permanecem limitadas. A latência no mundo real também dependerá do tamanho da carga útil, do processamento de mídia, da localização geográfica e do volume de solicitações.
A tarefa imediata de engenharia é, portanto, a avaliação controlada, em vez da ampla substituição dos classificadores existentes. Os desenvolvedores devem testar entradas multimodais representativas, comparar pontuações de confiança com resultados conhecidos e verificar como os erros e resultados parciais se comportam em grandes lotes de perguntas. As equipes de gateway e plataforma também devem confirmar se seus registros conseguem distinguir uma solicitação de decisão da geração antes de disponibilizar o endpoint aos clientes.