Cloudflare AI Gateway добави псевдоними на модели, което позволява на клиентите да поставят набор от модели зад едно име, използвано от приложенията. Псевдонимът може да приложи или подредена резервна политика, или интелигентно маршрутизиране, докато клиентите изпращат псевдонима като име на модел чрез REST API на шлюза.
Практическата промяна е разделянето на идентификатора на модела, който приложението иска, и модела, който в крайна сметка обработва заявката. Операторите на шлюза могат да променят пула, политиката за маршрутизиране или базовите модели, без да преразпределят всеки клиент, който използва псевдонима. Cloudflare казва, че псевдонимите са обхванати от отделни шлюзове.
Това е повече от удобство за преименуване на модели. Той дава на операторите стабилен интерфейс за приложения, докато наличността на доставчика, версиите на модела и предпочитанията за маршрутизиране се променят зад него.
Стабилно име за променящ се набор от модели
Без слой с псевдоним приложенията обикновено зависят от специфични за доставчика идентификатори на модела. Следователно подмяната на модел, добавянето на резервен вариант или преместването на трафик към друг доставчик може да изисква промени в конфигурацията в няколко услуги. Може също така да вкара логиката за повторен опит и избор на доставчик във всеки клиент.
Реализацията на Cloudflare премества тези решения в шлюза. С подреден резервен вариант операторът може да определи предпочитан модел и алтернативи, които да опита, когато първият избор не може да обслужи заявка. Интелигентното маршрутизиране предоставя управлявана от правила алтернатива, при която шлюзът избира от набора, вместо да следва фиксирана последователност.
Това споразумение е особено подходящо за мултимоделен API шлюз за екипи. Софтуерен екип може да даде на приложенията трайно име на модел, като същевременно променя внедряването централно. Той може също така да стандартизира идентификатора, използван от няколко вътрешни услуги, намалявайки броя на миграциите на модела, които трябва да бъдат координирани със собствениците на приложения.
Псевдонимът обаче остава специфичен за шлюза. Организациите, опериращи с няколко шлюза на Cloudflare, ще трябва да управляват еквивалентни псевдоними поотделно, ако искат последователни имена и политики в среди или бизнес звена.
Преминаването при отказ става по-лесно, но наблюдението става по-трудно
Пуловете от модели могат да подобрят устойчивостта, тъй като приложенията вече не се нуждаят от собствен избор на доставчик и резервен код. Ако оператор промени подредения пул, приложението продължава да извиква същия псевдоним. Същият механизъм може да поддържа надстройки на модели или промени на доставчика, без да променя клиентския договор.
Но стабилните идентификатори въвеждат счетоводна разлика, която операторите не могат да пренебрегнат. Регистърите и записите за използване трябва да запазват както псевдонима, поискан от клиента, така и модела, който действително е обслужил заявката. В противен случай заявка, отчетена само под псевдонима, може да скрие разликите в цената, закъснението, качеството на изхода или обработката на доставчика.
Това има значение за връщане на плащане и поддръжка на клиенти толкова, колкото и отстраняването на технически грешки. Когато две заявки към един и същи псевдоним се обслужват от различни модели, техните разходи и поведение може да се различават, въпреки че конфигурацията на клиента е непроменена. AI API контролна равнина за екипи на разработчици следователно се нуждае от приписване на ниво изпълнение, а не само отброявания, групирани по името на публичния модел.
Оценяването също се превръща в непрекъсната оперативна задача. Промяната на маршрутизирането може да повлияе на поведението на приложението без внедряване на код, така че екипите трябва да тестват ревизиите на правилата и да запазят запис за това кой модел е обслужвал всяка оценена заявка. Предупреждаването трябва да разграничи успешния резервен вариант от нормалното използване на предпочитания модел, тъй като повтарящият се резервен вариант може да означава проблем с доставчика или изчерпан капацитет.
Последствия за дистрибутори и оператори на платформи
Псевдонимите са полезни за платформи, които публикуват ориентиран към клиента каталог с модели. Дистрибуторът може да изложи стабилно име на продукт, докато заменя остарял модел, коригира микс от доставчици или въвежда резервна опция зад него. Това може да намали разрушителните миграции на каталог и да позволи на оператора да управлява централно наличността.
Абстракцията също създава въпроси за разкриване и таксуване. Клиентите може да се наложи да знаят дали даден псевдоним винаги се свързва с един модел, дали избира между няколко модела или променя поведението си с течение на времето. За AI API операции на дистрибутори, фактурите и експортирането на употребата трябва да направят резултата от маршрутизирането достатъчно ясен, за да съпоставят таксите на клиента с разходите на доставчика.
Операторите трябва също така да решат дали бюджетите, лимитите на тарифите и политиките за достъп се свързват с псевдонима, основните модели или и двете. Псевдоним, който може да насочва към модели с съществено различни цени, не трябва тихо да заобикаля допусканията за разходи, установени при конфигурирането на клиента.
Какво остава неясно
Дневникът на промените на Cloudflare установява основното поведение, но не описва критериите за вземане на решения, използвани от интелигентното маршрутизиране в това съобщение. Той също така не предоставя измервания на производителността при отказ или обяснява колко бързо се разпространяват промените на псевдоними.
Тези подробности ще определят колко уверено екипите могат да използват псевдоними за чувствителни към латентност или строго управлявани натоварвания. Засега непосредствената полза е ясна: приложенията могат да зависят от стабилно име на модел, докато решенията за маршрутизиране се преместват в шлюза. Съответното задължение е също толкова ясно: отчитането, фактурирането и одитите трябва да следват модела, който действително е изпълнил заявката, а не само псевдонима, предоставен от приложението.