Cloudflare ir mainījis neglaimojošu, bet svarīgu AI Gateway daļu: kas notiek, ja AI pakalpojumu sniedzējs noraida klienta akreditācijas datus.
Saskaņā ar Cloudflare AI Gateway izmaiņu žurnālu POST /ai/run tagad sniedz konsekventākas atbildes, ja pakalpojumu sniedzējs atsakās izsniegt akreditācijas datus. Konkrētākais piemērs ir Google virsotne. Noraidītie Vertex akreditācijas dati, kas iepriekš sniedza HTTP 500. atbildi ar augšupējiem mēģinājumiem, tagad atgriež HTTP 401 ar Cloudflare kļūdas kodu 2009. Cloudflare saka, ka lietojumprogrammām ir jāinterpretē HTTP 401 kā nederīgs vai noraidīts pakalpojumu sniedzēja akreditācijas dati. Turpretim pakalpojumu sniedzēja noraidīšana pakalpojumā Cloudflare pārvaldītā vienotā norēķinu sistēma ir saistīta ar HTTP 503.
Tas izklausās pēc šaura kļūdu līguma atjauninājuma. Komandām, kas izmanto AI vārtejas, tas ir kas vairāk. Sliktu nodrošinātāja atslēgu nevajadzētu uzskatīt par pārejošu infrastruktūras kļūdu. Ja tā ir, lietojumprogrammas mēģina atkārtoti strādāt, bet nevar veiksmīgi, rezerves sistēmas var novirzīt trafiku nepareiza iemesla dēļ, un klientu atbalsta komandām ir jānodala autentifikācijas kļūmes no pakalpojumu sniedzēja nestabilitātes pēc fakta.
Kas ir mainījies vārtejas līgumā
Izmaiņas standartizē atšķirību, kas ir svarīga ražošanā: kurš var novērst kļūdu.
Ja lietotājs atnes savu nodrošinātāja atslēgu un šī atslēga ir nederīga, atsaukta, tai beidzies derīguma termiņš, tai trūkst pareizo projekta atļauju vai pakalpojumu sniedzējs to ir noraidījis, klientam vai platformas administratoram ir jālabo akreditācijas dati. Atgriežot 401, tas kļūst redzams. Tas norāda lietojumprogrammai, ka autentifikācija neizdevās pie pakalpojumu sniedzēja robežas un ka aklie mēģinājumi, visticamāk, nepalīdzēs.
Iepriekš vismaz attiecībā uz noraidītajiem Google Vertex akreditācijas datiem Cloudflare teica, ka kļūme varētu parādīties kā HTTP 500 un izraisīt atkārtotus mēģinājumus. 500 atbilde parasti nozīmē servera puses kļūmi vai augšupvērstu problēmu, kas var novērsties pati par sevi. Daudzas klientu bibliotēkas un vārtejas ietvari šo kļūdu klasi uzskata par atkārtoti izmēģināmām. AI trafikā tas var būt dārgi, jo pieprasījumos var būt ietvertas garas uzvednes, rīka konteksts vai liela apjoma pakešu darbs.
Jaunais sadalījums arī precizē vienoto norēķinu darbību. Cloudflare saka, ka pakalpojumu sniedzēja noraidīšana saskaņā ar vienoto norēķinu kartēm ir HTTP 503. Tādējādi kļūda tiek saglabāta pakalpojumu pieejamības saimē, nevis tiek parādīta kā klienta galvenā problēma. Programmatūrai, kas atbalsta gan savu atslēgu, gan vārtejas rēķinu datplūsmu, šai atšķirībai ir jāveido gan atkārtota mēģinājuma noteikumi, gan lietotājam adresēti ziņojumi.
Kāpēc tas ir svarīgi BYOK un tālākpārdevēju produktiem
Atjauninājums nonāk tirgū, kur arvien vairāk AI platformu sajauc piekļuvi ar vārtejas rēķinu un klientu nodrošinātiem akreditācijas datiem. Vairāku modeļu API vārteja komandām var novirzīt vienu pieprasījumu caur platformas kontu, otru caur klienta OpenAI atslēgu un trešo caur Google mākoņa projektu, ko kontrolē uzņēmuma pircējs. Statusa kods HTTP bieži ir pirmais signāls, ko vadības plakne redz, kad kaut kas noiet greizi.
BYOK darbplūsmām pakalpojumu sniedzēja akreditācijas datu noraidīšanas apstrāde kā 401 nodrošina tīrāku darbības ceļu. Informācijas panelis var atzīmēt akreditācijas datus kā noraidītu, apturēt tikai ietekmēto maršrutu, informēt pareizo īpašnieku un izvairīties no atkārtota mēģinājuma budžeta tērēšanas pieprasījumam, kas atkal neizdosies. Tas arī palīdz nošķirt atslēgu higiēnu no modeļa pieejamības. Atsaukts Vertex akreditācijas dati nav tas pats incidents, kas pakalpojumu sniedzēja darbības pārtraukums vai ātruma ierobežojuma notikums.
Tālākpārdevēju un partneru platformām ir līdzīga problēma, taču ar vairāk sekām, kas skar klientus. AI API tālākpārdevēja platforma var pārvaldīt atslēgas, norēķinu stāvokli un pakalpojumu sniedzēja maršrutus daudziem pakārtotajiem klientiem. Ja noraidītie akreditācijas dati izskatās pēc vispārīgām servera kļūdām, atbalsta komandas var ziņot par nepareizu pamatcēloni, pāriet uz dārgāku maršrutu vai absorbēt izmaksas, kas būtu attiecināmas uz klienta nepareizi konfigurētiem akreditācijas datiem.
Tādēļ praktiskā izmaiņa nav saistīta tikai ar kļūdu parsēšanu. Operatoriem ir jāpārskata atkārtota mēģinājuma politikas, brīdinājumu etiķetes, informācijas paneļa kopija un incidentu klasifikācija. 401 no vārtejas ceļa parasti jāpārtrauc automātiskie pakalpojumu sniedzēja mēģinājumi un jāpārvieto problēma uz akreditācijas datu labošanu. 503. pārvaldīts norēķins joprojām var garantēt pakalpojumu sniedzēja veselības pārbaudes, kļūmjpārlēces loģiku vai statusa lapas incidentu atkarībā no produkta arhitektūras.
Kas izstrādātājiem jāatjaunina
Izstrādātājiem, kuri izmanto Cloudflare AI Gateway, ir jāpārbauda jebkura klienta loģika, kas apstrādā pakalpojumu sniedzēja kļūmes, izmantojot plašas HTTP klases. Ja 401 atbilde pašlaik tiek apstrādāta tikai kā vārtejas marķiera problēmas, šim kodam, iespējams, būs jānošķir lietojumprogrammas Cloudflare akreditācijas dati no augšpuses nodrošinātāja akreditācijas datiem, ko attēlo Cloudflare kļūdas kods 2009.
Komandām arī jāpārskata rezerves maršrutēšana. Atkāpšanās ir noderīga, ja pakalpojumu sniedzējs nav pieejams, ir pārslogots vai ir ārpus latentuma mērķa. Tas ir riskantāk, ja sākotnējā kļūme ir klienta akreditācijas problēma. Automātiski pārvietojot satiksmi no noraidīta BYOK maršruta uz platformas rēķina maršrutu, var rasties neparedzētas maksas, politikas pārkāpumi vai izmaiņas datu apstrādē. Produktiem ar unified AI API billing šī darbība ir skaidri jānorāda.
Arī atbalsta rīkiem vajadzētu kļūt precīzākiem. Noderīgs informācijas paneļa stāvoklis var norādīt, ka pakalpojumu sniedzējs ir noraidījis konfigurētos akreditācijas datus, identificēt ietekmēto pakalpojumu sniedzēja maršrutu un parādīt pēdējo kļūmes laiku. Tas ir efektīvāks nekā vispārēja iepriekšējā kļūda. Uzņēmuma klientiem audita žurnālos ir jāsaglabā statusa kods, nodrošinātājs, akreditācijas datu atsauce un lēmums par maršrutēšanu, lai komandas varētu izskaidrot, vai pieprasījums neizdevās, tika mēģināts atkārtoti vai pārvietots uz citu norēķinu ceļu.
Kas paliek neskaidrs
Cloudflare izmaiņu žurnāls identificē Google Vertex kā konkrētu labotu gadījumu un nosauc ElevenLabs plašākā pakalpojumu sniedzēja akreditācijas datu kontekstā, taču publiskā piezīme netiek lasīta kā pilna matrica par katru pakalpojumu sniedzēju un katru iespējamo akreditācijas datu kļūmi. Vārtejas operatoriem ir jāpārbauda pakalpojumu sniedzēji, uz kuriem viņi paļaujas, nevis jāpieņem, ka visi noraidītās atslēgas scenāriji tagad darbojas identiski.
Ir arī jautājums par produktu dizainu platformām, kas izveidotas, izmantojot AI Gateway: cik liela daļa no Cloudflare kļūdu vārdnīcas ir jāatklāj gala klientiem? Neapstrādāti kodi ir noderīgi izstrādātājiem, taču tālākpārdevēju portāliem bieži ir nepieciešama noturīgāka, klientiem paredzēta kategorija, piemēram, “pakalpojumu sniedzēja akreditācijas dati ir noraidīti”, atsevišķi no “vārtejas norēķini nav pieejami” vai “pakalpojumu sniedzējs īslaicīgi nav pieejams”.
Lielākais virziens ir skaidrs. AI vārtejas vairs nav vienkārši caurlaides starpniekserveri modeļu izsaukumiem. Tie ir politikas un norēķinu kontroles plāni, un nelielas kļūdu semantikas atšķirības var izlemt, vai sistēma mēģina atkārtoti, neizdodas, iekasē maksu no klienta vai lūdz administratoram atkārtoti savienot pakalpojumu sniedzēja kontu.