Szolgáltatásszintű útválasztás AI API-átjáróban: gyors, szabványos, kiépített és kötegelt, hard-kódoló szolgáltatók nélkül

Ez a szintlista szándékosan kicsi. Ha húsz szintet hoz létre, a fejlesztők megkerülik a rendszert. Az átjáró továbbra is hozzárendelhet egy semleges szintet több szolgáltató-specifikus mechanizmushoz belsőleg.

Válassza le a kért szintet a kiválasztott szinttől

A hívónak el kell küldenie a kért szintet, de az átjárónak rögzítenie kell mind a kért, mind a ténylegesen kiválasztott szintet. Ezek nem mindig ugyanazok.

Példa kérés metaadatai:

{
  "model": "support-chat-default",
  "üzenetek": [...],
  "metaadatok": {
    "workflow": "customer_support_reply",
    "bérlő_azonosítója": "bérlő_123",
    "requested_gateway_tier": "interactive_fast",
    "end_user_id": "u_789"
  }
}

Példa feladási rekord:

{
  "request_id": "req_abc",
  "bérlő_azonosítója": "bérlő_123",
  "api_key_id": "key_live_456",
  "workflow": "customer_support_reply",
  "model_alias": "support-chat-default",
  "requested_gateway_tier": "interactive_fast",
  "selected_provider": "provider_a",
  "selected_provider_tier": "gyors",
  "tier_outcome": "selected_as_requested",
  "downgrade_reason": null,
  "input_tokens": 1840,
  "output_tokens": 420,
  "latency_ms": 1420,
  "estimated_cost_usd": "0,0312",
  "settled_cost_usd": "0,0308"
}

Ha egy prémium kérelmet normál feldolgozásra küldenek a rámpakorlátok vagy a bérlői költségvetési szabályok miatt, akkor ennek láthatónak kell lennie:

{
  "requested_gateway_tier": "interactive_fast",
  "selected_provider_tier": "standard",
  "tier_outcome": "visszaminősített",
  "downgrade_reason": "rentant_premium_budget_exhausted"
}

Ez a megkülönböztetés megakadályozza a félrevezető elemzést. Ha az irányítópultok csak azt mutatják, amit a hívó kért, a pénzügyek a prémium szándékot fogják látni, a prémium végrehajtást nem. Ha az irányítópultok csak az upstream eredményt jelenítik meg, a termékcsapatok nem tudják, mikor tagadták meg a késleltetésre érzékeny munkafolyamatukat a prémium kapacitástól.

Az útválasztás előtt készítsen képességmátrixot

A szolgáltatási szintű útválasztónak képességmátrixra van szüksége. A mátrixnak meg kell válaszolnia: egy adott modellhez, régióhoz, bérlőhöz és munkafolyamathoz milyen kapacitásmechanizmusok állnak rendelkezésre?

Minimális mezők:

• szolgáltató
• model_or_deployment
• régiók
• supports_sync
• supports_batch
• supports_premium_tier
• supports_provisioned_capacity
• supports_spillover
• provider_tier_values
• számlázási_sorelemek
• ismert_downgrade_behavior
• bérlő_allowlist

Egyszerűsített példa:

gateway_tier_map:
  interactive_fast:
    preferált:
      - szolgáltató: openai
        request_params:
          service_tier: gyors
      - szolgáltató: antropikus
        request_params:
          service_tier: prioritás
    tartalék:
      - gateway_tier: interaktív_szabvány
        allow_when: policy.allows_standard_downgrade
  background_discount:
    preferált:
      - szolgáltató: antropikus
        mód: köteg
      - szolgáltató: gemini
        mód: köteg
    tartalék:
      - sor: késleltetett_újrapróbálkozás
        megengedett_mikor: igaz
  reserved_capacity:
    preferált:
      - szolgáltató: azure_openai
        telepítési_osztály: kiépítve
    tartalék:
      - szolgáltató: azure_openai
        telepítési_osztály: standard
        allow_when: policy.allows_spillover

Ennek a mátrixnak konfigurációsnak kell lennie, nem elszórt kódnak. A szolgáltató elnevezésének változásai, a regionális elérhetőség és a számlázási kezelés idővel változni fognak. Az átjáróházirend frissítése biztonságosabb, mint minden API-t hívó alkalmazás újratelepítése.

A kapacitás kiválasztása előtt osztályozza a munkaterheléseket

A legnehezebb rész nem a szolgáltató-leképezés. Ez eldönti, hogy mely kérések melyik szintet érdemlik meg.

Jó jelöltek az interactive_fast

• Hangasszisztensek, ahol a késés megszakítja a beszélgetést.
• Ügyfélközpontú csevegés a nagy értékű konverziós vagy megtartási útvonalakon.
• Human-in-the-loop műveletek, ahol egy ügynök aktívan várakozik.
• Olyan gyártási incidensek, amelyeknél a késleltetés közvetlenül befolyásolja a mérséklést.

Jó jelöltek az interactive_standard

• Belső másodpilóták.
• Támogatja a rajzolást, ahol az ember elviseli a normál válaszidőt.
• Termékfunkciók, ahol a válaszidő számít, de nem kritikus.

Jó jelöltek a background_discount

• Éjszakai összefoglaló.
• Nagy dokumentumgazdagítás.
• Offline értékelések.
• A tömeges beágyazás frissül.
• Analytics címkézés és jelentéskészítés.

Jó jelöltek a reserved_capacity

• Állandó nagy mennyiségű termelési munkaterhelés.
• Szerződéses vevői munkaterhelések kiszámítható átviteli kötelezettségvállalásokkal.
• Olyan forgalom, amely nem tolerálja a zajos szomszédos eltéréseket, és elegendő kihasználtsággal rendelkezik ahhoz, hogy indokolja a dedikált kapacitást.

Egy egyszerű szabály a következő: ne engedje meg, hogy a hívók prémium kapacitást válasszanak pusztán azért, mert előnyben részesítik a sebességet. Deklarált munkafolyamat, bérlői engedély és költségvetési keret szükséges.

Bérlői és API-kulcs engedélyek kényszerítése

Minden bérlőnek és API-kulcsnak rendelkeznie kell egy engedélyezett szinttel. Az új kulcsok alapértelmezés szerint szabványos és háttérszintűek, nem prémium szintűek.

Példa bérlői szabályzat:

{
  "bérlő_azonosítója": "bérlő_123",
  "allowed_gateway_tiers": [
    "interactive_standard",
    "háttér_kedvezmény"
  ],
  "prémium_szint": {
    "engedélyezve": hamis,
    "monthly_budget_usd": "0.00",
    "approval_required": igaz
  },
  "fenntartott_kapacitás": {
    "engedélyezve": igaz,
    "deployment_pool": "support-prod-ptu",
    "allow_spillover_to_standard": igaz,
    "spillover_monthly_budget_usd": "500.00"
  }
}

Példa kulcsszintű felülbírálásra:

{
  "api_key_id": "key_voice_prod",
  "allowed_gateway_tiers": ["interactive_fast"],
  "workflow_allowlist": ["voice_control_loop"],
  "premium_daily_budget_usd": "75.00",
  "max_premium_traffic_percent": 15
}

A kulcsszintű házirend megakadályozza a véletlen bővítést. A fejlesztő nem vehet el egy hangforgalomra szánt kulcsot, és nem használhatja tömeges összefoglaló szkripthez, hacsak a munkafolyamat is engedélyezett.

Kifejezetten tervezze meg a leminősítési és továbbgyűrűző viselkedést

Az alacsonyabb verzióra váltás a termékkel kapcsolatos döntés, nem csak az infrastruktúra döntése. Ha a prémium vagy a kiépített kapacitás nem érhető el, az átjárónak a négy út egyikét kell választania:

• Tovább a szabvány szerint: Akkor hasznos, ha a rendelkezésre állás többet jelent, mint a késleltetési idő konzisztenciája.
• Várólista: Hasznos háttérmunkákhoz és kötegelt munkaterhelésekhez.
• Gyors sikertelenség: Akkor hasznos, ha a lassú válasz rosszabb lenne, mint a válasz hiánya, például szűk, valós idejű hurkok.
• Kérje meg a hívót, hogy próbálkozzon újra: Akkor hasznos, ha az ügyfél biztonságosan újrapróbálhatja a visszalépést és a megőrzött idempotenciakulcsot.

Példa irányelv:

downgrade_policy:
  voice_control_loop:
    kért_szint: interaktív_gyors
    if_fast_unavailable: fail_fast
    hibakód: tier_capacity_unavailable
  customer_support_reply:
    kért_szint: interaktív_gyors
    if_fast_unavailable: folytassa_a_standardban
    rekord_eredmény: leminősítve
  nightly_document_enrichment:
    kért_szint: background_discount
    if_batch_unavailable: várólista
    max_queue_delay_hours: 24
  contracted_api_customer:
    kért_szint: fenntartott_kapacitás
    if_reserved_exhausted: spillover_to_standard
    request_spillover_budget: true

Ne rejtse el a továbbgyűrűzést. A spillover javíthatja a rendelkezésre állást, de megváltoztatja a költségeket és az SLO értelmezését. A számlákon és az elemzéseken fel kell tüntetni a lefoglalt kapacitás igényét, a továbbgyűrűző eseményt, a ténylegesen felhasznált szabványos kapacitást és az okot.

Kapcsolja össze a szolgáltatási szintű útválasztást a számlázással

Az átjáró nem tudja szabályozni a prémium kiadásokat, ha a szintválasztás nem része a főkönyvnek. Tárolja ezeket a mezőket minden kéréshez vagy munkához:

• Kért átjárószint.
• Kiválasztott szolgáltatói szint vagy kapacitásosztály.
• A szint eredménye: kiválasztott, leminősített, frissített, sorba állított, átgyűrűző, elutasítva.
• Az eredmény oka.
• Bérlő-, API-kulcs-, felhasználó- és munkafolyamat-azonosítók.
• Modell alias és upstream modell vagy telepítés.
• Becsült költség a feladás előtt.
• A szolgáltató használat utáni elszámolt költség ismert.
• A várakozási idő és az újrapróbálkozások száma szinkron kérések esetén.
• Aszinkron feladatok kötegelt beküldési ideje, befejezési ideje és eredményfeldolgozási állapota.

Ezekkel a mezőkkel az átjáró választ tud adni a pénzügyi és mérnöki kérdésekre:

• Mely bérlők használtak prémium kapacitást ezen a héten?
• Mely munkafolyamatok okozták a legtöbb prémium kiadást?
• Milyen gyakran váltak vissza a prémium kérelmek szabványosra?
• Elegendő mértékben javította az interactive_fast p95 késleltetési idejét ahhoz, hogy indokolttá tegye a prémiumot?
• Mennyit takarított meg a háttérben végzett kötegelt feldolgozás a szinkron szabványos feldolgozáshoz képest?
• Mekkora szabványos átgyűrűzést generált a kiosztott kapacitás?

A fontos javaslat: számlázza ki a ténylegesen használt szintet, miközben megjeleníti a kért szintet a működési kontextushoz. Ellenkező esetben a bérlőket vagy meglepik a költségek, vagy félrevezetik a szolgáltatás minőségét illetően.

Adjon hozzá védőkorlátokat, hogy ne a prémium legyen az alapértelmezett

Amint a csapatok felfedeznek egy gyorsabb szintet, előfordulhat, hogy túlhasználják azt. Tegyen korlátokat az átjáróban a széles körű közzététel előtt.

• Bérlőnkénti prémium költségkeret: kemény havi és napi plafon.
• Munkafolyamat-jóváhagyás: Premium csak névvel ellátott munkafolyamatok esetén engedélyezett.
• Forgalommegosztási korlát: Például a bérlő szinkron kéréseinek legfeljebb 10%-a használhatja az interactive_fast paramétert jóváhagyás nélkül.
• Normál-prémiumra vonatkozó figyelmeztetés: Figyelmeztetés, ha egy általában szabványos munkafolyamatot frissítenek.
• Prémium égési arány figyelmeztetés: Figyelmeztetés, ha a tervezett kiadás meghaladja a jóváhagyott keretet.
• Automatikus lejárat: Az ideiglenes vészhelyzeti felülbírálások kézi tisztítás nélkül lejárnak.
• Kötegelt alkalmassági ellenőrzések: blokkolja a szinkron prémium szintek tömeges munkáit, ha megfelelnek a kötegelt feltételeknek.

A védőkorlátoknak megfordíthatónak kell lenniük. Egy incidens során előfordulhat, hogy a felhatalmazott üzemeltetőnek ideiglenes díjfelülbírálást kell adnia. Ennek a felülbírálásnak meg kell adni az okot, a jóváhagyót, a költségvetést, a lejárati időt és az ellenőrzési rekordot.

Megvalósítási sorrend

A biztonságos közzététel nem azzal kezdődik, hogy mindenhol bekapcsolja a prémium útválasztást. Kezdje a méréssel.

1. Adja hozzá az árnyékos rétegbesorolást

Minden kérelmet besoroljon egy javasolt átjárószintbe, de még ne módosítsa az útválasztást. Rögzítse a javasolt szintet a meglévő késleltetési, költség- és munkafolyamat-metaadatok mellett. Ez felfedi, hogy mekkora forgalom kerülne át prémium, kötegelt vagy lefoglalt kapacitásra, ha a szabályzat érvényesülne.

2. Készítse el a képességmátrixot

Lista szolgáltatói mechanizmusok, támogatott modellek, régiók, korlátok, jelentési mezők és az ismert visszalépési viselkedés. Tesztelésig az ismeretlen visszaminősítési viselkedést kockázatként kezelje.

3. Bérlői engedélyek kényszerítése szárazonfutás módban

Naplózza, hogy az egyes kérések engedélyezettek, leminősítve, sorba helyezve vagy elutasítva. A végrehajtás előtt ossza meg az eredményeket a terméktulajdonosokkal.

4. Egy réteg engedélyezése egy kohorsz számára

Válasszon szűk munkafolyamatot, például élő támogatási válaszútvonalat vagy éjszakai összefoglaló feladatot. Engedélyezze a vonatkozó átjárószintet egy kis bérlői kohorsz számára. Mérje meg a p50 késleltetést, a p95 késleltetést, a költségeket, a leminősítési arányt, a hibaarányt és a felhasználókra vonatkozó üzleti mutatókat, ahol elérhető.

5. Csak akkor bontsa ki, ha az adatok ezt támogatják

Ha a prémium szint javítja a várakozási időt, de nem a termékeredményeket, korlátozza azt. Ha a kötegelt feldolgozás csökkenti a költségeket a termék viselkedésének sérelme nélkül, bővítse ki. Ha a kiépített kapacitás tétlen, tekintse meg újra a kötelezettségvállalást, vagy irányítsa rá a kiszámíthatóbb forgalmat.

Egyértelmű kompromisszumok

• A prémium alacsony késleltetésű szintek javíthatják a válaszkészséget, de megoszthatják a sebességkorlátokat, vagy felfutási korlátozásokat válthatnak ki. Nem helyettesítik a sebességkorlátozást.
• A biztosított kapacitás javítja a kiszámíthatóságot, de alacsony kihasználtság esetén pénzt pazarolhat el. A normál vagy kötegelt kapacitás jobb lehet a tüskés vagy késleltetéstűrő forgalomhoz.
• A kötegelt feldolgozás csökkentheti a token költségét, de megváltoztatja a termék viselkedését, mivel a válaszok aszinkronok, és sokkal később érkezhetnek meg.
• A szolgáltató-semleges rétegnevek leegyszerűsítik az alkalmazás kódját, de az átjárónak naprakész képességmátrixot kell fenntartania, mivel a szolgáltatók eltérő neveket, korlátokat, számlázási sorokat és visszalépési viselkedést használnak.
• Az automatikus visszaminősítés javítja a rendelkezésre állást, de elhomályosíthatja az SLO-t és a számlázási elvárásokat, hacsak az átjáró nem rögzíti a ténylegesen használt szintet.
• A szigorú bérlői ellenőrzések megakadályozzák a meglepetésszerű kiadásokat, de a túl merev házirendek blokkolhatják a sürgős termelési munkafolyamatokat, hacsak nincs ellenőrzött felülírási útvonal.

Előrejelzés: a szolgáltatási szint első osztályú útválasztási dimenzióvá válik

Előrejelzés: Ahogy a modell API-k érnek, a szolgáltatási szint ugyanolyan fontossá válik az AI-útválasztásban, mint a modellválasztás, a régió és a kontextusablak. A csapatok nem csak azt kérdezik, hogy melyik modell válaszoljon erre? Azt fogják kérdezni, hogy „melyik modell, melyik kapacitásosztály alatt, melyik bérlői költségvetéshez, milyen leminősítési politikával?”

Javaslat: Tervezze meg most az átjáró főkönyvet és a házirend-modellt, hogy új szolgáltatói kapacitásosztályokat lehessen hozzáadni az alkalmazáskód megváltoztatása nélkül. Még akkor is, ha csak a standarddal és a köteggel kezdi, használjon olyan mezőket, mint a requested_gateway_tier, selected_provider_tier és tier_outcome.

Munkálható ellenőrzőlista

• Határozzon meg legfeljebb öt szolgáltató-semleges átjárószintet.
• Minden API-kulcsnak meg kell adnia, hogy mely szinteket és munkafolyamatokat használhatja.
• Hozzon létre egy szolgáltatói képességmátrixot a prémium, standard, kiépített, kötegelt és továbbgyűrűző viselkedéshez.
• Rögzítse a kért szintet, a kiválasztott szintet, a leminősítési vagy továbbgyűrűző eredményt, a várakozási időt, a használatot és az elszámolt költséget.
• Alapértelmezett új kulcsok szabványos vagy háttérszintekhez.
• Adjon hozzá prémium költségkereteket, forgalommegosztási korlátokat és figyelmeztetéseket.
• Tegye egyértelművé a visszalépési viselkedést munkafolyamatonként.
• A betartatás előtt kezdje az árnyékmutatókkal.
• Először terjessze ki a prémium vagy kiosztott kapacitást egy kis csoport számára.
• Csak akkor bontsa ki, ha a várakozási idő, a megbízhatóság vagy az üzleti mutatók indokolják a költségeket.

Következtetés

A szolgáltatásszintű útválasztás az AI API-átjáróhoz tartozik, mivel ez egy átfogó politikai döntés. Befolyásolja a várakozási időt, a költségeket, a kvótákat, a bérlői engedélyeket, a számlákat és a működési elvárásokat. Az alkalmazáscsapatok nem kódolhatnak szolgáltató-specifikus rétegneveket vagy telepítési osztályokat, csak a munkaterhelés sürgősségének kifejezésére.

Egy praktikus átjáró olyan semleges szinteket tesz elérhetővé, mint az interactive_fast, az interactive_standard, a reserved_capacity és a background_discount. Ezeket a szinteket szolgáltató-specifikus mechanizmusokhoz rendeli hozzá, kikényszeríti a bérlői engedélyeket, rögzíti a tényleges eredményt, és a prémium kapacitást szándékos kivételnek teszi, nem pedig az alapértelmezett útvonalat.

Kapcsolódó olvasmány

• kamatlimit kialakítása a szolgáltató 429s előtt
• unified-batch-jopi2"> átjáróminta az aszinkron kötegelt munkákhoz
• számlázási főkönyv árajánlatokhoz, tartalékoláshoz, kiegyenlítéshez és egyeztetéshez