Google въведе Gemini Decisions API, нова крайна точка за приложения, които се нуждаят от ограничени отговори, а не от генерирана проза. Пуснат на 11 ноември, API може да оцени до 1000 въпроса с отговор „да“ или „не“, с избираем отговор или точкуване по рубрика в една заявка.
Крайната точка приема въвеждане на текст, изображения, аудио, видео и PDF в рамките на входен лимит от 256 000 токена. Вместо да връща отговор на есе или чат, той създава вероятности и резултати за увереност, които софтуерът може да използва за класификация, класиране, проверки на политики и маршрутизиране. Google казва, че заявките могат да се изпълняват със закъснение от край до край от 150 до 250 милисекунди, въпреки че тази стойност на производителността все още не е независимо установена за производствените работни натоварвания.
Отделна API повърхност за решения
Пускането е по-последователно от добавянето на друг Gemini модел към каталог на доставчик. Повечето OpenAI-съвместими интеграции предполагат генерираща заявка: клиентът изпраща съобщения или входни елементи, моделът връща текст или структуриран изход, а доставчикът таксува за някаква комбинация от входни и изходни токени.
Gemini Решенията използват различен договор. Приложението предоставя изходен материал и ограничен набор от въпроси, след което получава числени доказателства за всеки възможен отговор. Този дизайн е подходящ за задачи като вземане на решение дали съдържанието да влезе в опашка за преглед, избор на модел за заявка, класифициране на извлечен контекст или прилагане на документирана рубрика за оценяване.
Разработчиците биха могли да приближат тези работни потоци с обикновено генериране на текст, но генерираните отговори изискват анализ и могат да въведат текст, от който приложението не се нуждае. Специално изградената крайна точка за вземане на решения предоставя по-ясен интерфейс: смисленият резултат е избраната опция и свързаната с нея вероятност или увереност, а не пасаж от проза.
Ценообразуването променя модела на измерване
Google посочва цената на $0,10 за милион входни токени и не таксува изходните токени. Това е съществено отклонение от отчитането на входно-изходните ресурси, използвано от конвенционалните модели на производство. Това също означава, че дадена заявка може да върне търговски важни данни, въпреки че броят на платимите изходни токени е нула.
Следователно операторите на шлюз не могат да разчитат само на общи суми на токени. Записите за използване трябва да запазят вида на натоварването, обема на въвеждане, броя на въпросите и съответните метаданни за отговор. Системите, предлагащи унифицирано AI API таксуване, може също да се нуждаят от отделно правило за тарифна карта, така че нулева стойност на изходен токен да не бъде сбъркана с липсващ или непълен запис за използване.
Пакетирането създава друг оперативен въпрос. Поддържането на до 1000 въпроса в една заявка може да намали натоварването на мрежата, но фирмите все пак ще трябва да решат как тази работа се приписва вътрешно. Едно API обаждане може да представлява стотици проверки за модериране, решения за маршрутизиране или оценки на документи, извършени за различни продукти или клиенти.
Съвместимостта надхвърля промяната на име на модел
Моделът е достъпен чрез Gemini API в Google AI Studio. За екипи, които се обаждат директно на Google, приемането ще изисква клиент, който разбира неговите ориентирани към вземане на решения структури на искане и отговор. За мултимоделен API шлюз за екипи, излагането на крайната точка, сякаш е обикновен чат модел, би скрило важно поведение и би могло да направи обработката на грешки, анализите и таксуването двусмислени.
Един по-чист дизайн на шлюз би идентифицирал решенията като отделен клас на натоварване. След това политиката за маршрутизиране може да изпрати ограничена работа за класификация и точкуване до новата крайна точка, като същевременно запазва генеративни модели за заявки, които действително изискват езиков изход. Контролите за достъп също трябва да потвърждават броя на въпросите, поддържаната медия и размера на въвеждане, преди да препратят заявка.
Данните за доверието заслужават внимателно отношение. Резултатът е полезен за прагове и правила за ескалация, но не е доказателство, че дадено решение е правилно или калибрирано за всеки домейн. Екипите, използващи API за последващи работни потоци за политика или съответствие, ще се нуждаят от собствени оценки, прагови тестове и пътеки за проверка от хора, вместо да приемат едно универсално прекъсване.
Какво остава недоказано
Съобщението наGoogle установява формата на API, публикуваната цена и заявената латентност, но независимите доказателства относно наличността на продукцията и ефективността остават ограничени. Забавянето в реалния свят също ще зависи от размера на полезния товар, обработката на медиите, географията и обема на заявките.
Следователно непосредствената инженерна задача е контролирана оценка, а не широка подмяна на съществуващи класификатори. Разработчиците трябва да тестват представителни мултимодални входни данни, да сравняват резултатите за доверие с известни резултати и да проверяват как се държат грешките и частичните резултати в големи групи въпроси. Екипите на шлюза и платформата трябва допълнително да потвърдят, че техните регистрационни файлове могат да разграничат искане за решение от генериране, преди да направят крайната точка достъпна за клиентите.