Spustite asistentov kódovania VS Code AI cez bránu kompatibilnú s OpenAI

Brána potom namapuje tieto profily na backendové modely. Napríklad:

{
  "model_profiles": {
    "code-fast": {
      "primary": "poskytovateľ_a/kódovanie-small",
      "fallback": "poskytovateľ_b/všeobecne-rýchle",
      "max_context_tokens": 32 000,
      "max_output_tokens": 4096
    },
    "code-review": {
      "primary": "provider_c/long-context-code",
      "fallback": "poskytovateľ_a/kódovanie-veľké",
      "max_context_tokens": 128 000,
      "max_output_tokens": 8192
    }
  }
}

To udržuje konfiguráciu editora stabilnú aj pri zmene názvov backendových modelov. To tiež umožňuje platformovým tímom presúvať návštevnosť počas incidentov poskytovateľa alebo ukončenia podpory modelu bez toho, aby každý vývojár musel upraviť miestne nastavenia.

Krok 4: Nakonfigurujte každý nástroj ako klienta brány

VS kód BYOK

Pomocou postupu nastavenia poskytovateľa pridajte poskytovateľa modelu a vyberte ho z výberu modelu rozhovoru. Ak rozhranie akceptuje základnú adresu URL, použite koncový bod brány /v1. Použite kľúč brány vývojára ako kľúč rozhrania API a odhaľte schválené ID profilov modelov, ako napríklad code-fast alebo code-review.

Prevádzková poznámka: Prevádzka BYOK pre modely podporované poskytovateľom sa účtuje podľa nakonfigurovanej cesty poskytovateľa, nie podľa kvót GitHub Copilot. To je jeden z dôvodov, prečo umiestniť fakturáciu brány a priradenie medzi editora a poskytovateľov backendu.

Aplikácia GitHub Copilot BYOK

Pre aplikáciu Copilot BYOK nakonfigurujte koncový bod HTTP kompatibilný s OpenAI so zobrazovaným názvom, základnou adresou URL a kľúčom API. Použite zobrazovaný názov, ktorý objasňuje cestu smerovania, napríklad Company AI Gateway. Udržujte ID modelov zarovnané s profilmi brány.

Nepredpokladajte, že každá funkcia poháňaná Copilotom bude smerovať cez túto cestu. Niektoré sémantické vyhľadávanie, vložené návrhy alebo správanie závislé od vkladania môže zostať spojené so službami GitHub alebo Copilot.

Pokračovať

Pokračovať môžete použiť konfiguráciu poskytovateľa OpenAI s prepísanou základňou API. Minimálna konfigurácia by mala nasmerovať poskytovateľa na bránu a ako modely používať ID profilu:

{
  "modely": [
    {
      "title": "Rýchly kód",
      "poskytovateľ": "openai",
      "model": "kódovo rýchly",
      "apiBase": "https://gateway.example.com/v1",
      "apiKey": "${GATEWAY_API_KEY}"
    }
  ]
}

Uprednostňujte premenné prostredia alebo tajné úložisko pred odovzdávaním kľúčov do súborov dot alebo lokálnej konfigurácie úložiska.

Cline

Cline podporuje poskytovateľa kompatibilného s OpenAI pomocou základnej adresy URL, kľúča API a ID modelu. Nakonfigurujte základnú adresu URL ako koncový bod brány, zadajte kľúč vývojára a vyberte profil modelu, napríklad code-agent pre pracovné postupy agentov.

V prípade podnikových nasadení použite konfiguráciu správcu, ak je to možné, na vynútenie koncového bodu kompatibilného s OpenAI v celej organizácii. To znižuje drift, najmä pre tímy, ktoré potrebujú vlastné hlavičky, nastavenia súvisiace s Azure alebo centrálne spravované autentifikačné cesty.

Roo Code

Roo Code podporuje konfiguráciu OpenAI s voliteľnou základnou adresou URL. Nastavte základnú adresu URL na bránu a použite schválené ID modelov. Ak nástroj odhaľuje pokročilé ovládacie prvky, ako je napríklad úsilie o uvažovanie pre podporované modely, rozhodnite sa, či sú tieto ovládacie prvky konfigurovateľné používateľom alebo fixné politikou brány.

Krok 5: Začnite so zoznamom povolených

Prístup k otvorenému modelu je počas experimentovania atraktívny, ale agenti IDE môžu rýchlo produkovať veľký objem tokenov. Začnite so zoznamom povolených:

• Predvoleným používateľom získate rýchly kód a úsporný kód.
• Používatelia agenta získajú kódového agenta po zaregistrovaní.
• Tímy náročné na kontrolu získajú kontrolu kódu s vyššími, ale explicitnými rozpočtami.
• Experimentálne modely vyžadujú vlastníka, dátum vypršania platnosti a obmedzenie používania.

Zásady by mali byť viditeľné v bráne, nie skryté v poznámkach k lokálnym nastaveniam. Odmietnutá žiadosť by mala vrátiť jasnú chybu: vývojár, kľúč, profil modelu, dôvod a ďalší krok.

Krok 6: Vytvorte analýzu pre otázky týkajúce sa zavádzania

Všeobecné súčty tokenov nestačia. Zavedenie nástroja pre vývojárov vyžaduje analýzu, ktorá odpovedá na prevádzkové otázky:

• Výdavky vývojára a tímu
• Miňte podľa úložiska alebo projektu, kde sú k dispozícii štítky
• Zmiešanie modelov podľa nástroja editora
• Priemerná veľkosť kontextu a výstupná veľkosť podľa profilu
• Neúspešné volania zoskupené podľa tvaru koncového bodu, ID modelu a kódu stavu
• Odľahlé relácie s nezvyčajne vysokým využitím tokenov
• Miera prístupov do vyrovnávacej pamäte tam, kde je podporované rýchle ukladanie do vyrovnávacej pamäte
• Upozornenia o rozpočte smerované do telegramových alebo tímových operačných kanálov

V predvolenom nastavení používajte protokolovanie riadené riadením. Uchovávajte metadáta požiadaviek, počty tokenov, ID modelov, načasovanie, typy chýb a účtovné knihy nákladov. Uchovávajte nespracované výzvy len vtedy, keď existuje zdokumentovaný pracovný postup ladenia, krátke uchovávanie a vhodné riadenie prístupu.

Krok 7: Riešenie problémov s nesúladom koncových bodov a schopností

Kompatibilita s OpenAI neznamená identické správanie. Očakávajte rozdiely medzi dokončeniami četu, rozhraniami API odpovedí, streamovaním, volaniami nástrojov, ovládacími prvkami zdôvodňovania, metadátami modelu a formátmi chýb poskytovateľa.

Ak niektorý nástroj zlyhá, použite tento kontrolný zoznam:

• Chyba pripojenia: Skontrolujte lokálny proxy, firewall, DNS, kontrolu TLS a či sa nástroj dokáže dostať k hostiteľovi brány.
• 401 alebo neplatný kľúč: Potvrďte, že vývojársky kľúč je aktívny, má rozsah pre nástroj a je prilepený bez medzier.
• 404 alebo model sa nenašiel: Uistite sa, že nástroj používa ID profilu brány, nie ID nespracovaného backendového modelu.
• Chybný koncový bod: Overte si, či klient očakáva /v1 v základnej adrese URL alebo ju pripojí interne.
• Zlyhanie volania nástroja: Potvrďte vybraté mapy profilu na model a adaptér, ktorý podporuje volania nástroja vo formáte, ktorý klient odosiela.
• Zlyhanie streamovania: Otestujte režim bez streamovania a potom sa uistite, že brána zachováva správanie udalosti odoslanej serverom očakávané klientom.
• Neočakávaný výstup: Skontrolujte, či sa v profile nezmenili modely backendu, či sa systémové výzvy nelíšia v závislosti od nástroja a či klient nepoužíva nastavenie zdôvodnenia, ktoré backend nepodporuje.

Krok 8: Zavedenie po etapách

Nezačínajte s každým vývojárom a každým editorom. Použite zavádzanie po etapách:

1. Pilot: Vyberte si jeden tím s aktívnym používaním kódovania AI. Vydajte kľúče pre jednotlivých vývojárov, povoľte dva alebo tri profily a zbierajte protokoly s okamžitou úpravou.
2. Východisko: Po jednom alebo dvoch týždňoch skontrolujte výdavky podľa používateľov, mixu modelov, typov zlyhania a veľkostí kontextu.
3. Pravidlá: Nastavte predvolené rozpočty, povolené profily a pravidlá výnimiek.
4. Automatizácia: Poskytovacie kľúče prostredníctvom SSO, SCIM, pracovného postupu Partner API alebo interného registračného skriptu.
5. Rozšírenie: Zverejňujte úryvky nastavenia pre každý podporovaný nástroj a používajte vzdialenú konfiguráciu v rámci celej organizácie, ak to nástroj podporuje.

Postupný prístup poskytuje vývojárom skorú pracovnú cestu a zároveň umožňuje tímom platformy sprísniť riadenie na základe údajov o skutočnom využití.

Uplatniteľný záver

Prevádzkový model je jednoduchý: každý asistent kódovania VS Code AI bude vyzerať ako klient brány, vydá jeden kľúč brány pre každého vývojára, odkryje profily modelov orientovaných na úlohy a centrálne analyzuje návštevnosť editorov. To poskytuje vývojárom rovnaký miestny pracovný postup a zároveň poskytuje organizácii jedno miesto na správu fakturácie, prístupu k modelu, riešenia problémov a reakcie na incidenty.

Začnite s pilotnou verziou, malým zoznamom povolených, rýchlo upravenými denníkmi a upozorneniami o rozpočte. Rozbaliť až potom, čo brána dokáže odpovedať na základné otázky týkajúce sa zavádzania: kto používa aký nástroj, ktorý profil modelu zvyšuje náklady, ktoré nesúlady koncových bodov spôsobujú zlyhania a ktorí vývojári potrebujú vyššie limity pre legitímnu prácu.

Súvisiace čítanie

• postupy správy kľúčov API jednotlivých vývojárov
• analytika používania s okamžitou úpravou pre návštevnosť brány
• plánovanie migrácie profilu modelu a ukončenia podpory