Spusťte VS Code AI Coding Assistants prostřednictvím brány kompatibilní s OpenAI

Brána poté namapuje tyto profily na backendové modely. Například:

{
  "model_profiles": {
    "code-fast": {
      "primary": "poskytovatel_a/coding-small",
      "fallback": "poskytovatel_b/obecne-rychle",
      "max_context_tokens": 32 000,
      "max_output_tokens": 4096
    },
    "recenze kódu": {
      "primary": "provider_c/long-context-code",
      "fallback": "poskytovatel_a/kódování-velké",
      "max_context_tokens": 128 000,
      "max_output_tokens": 8192
    }
  }
}

To udržuje konfiguraci editoru stabilní i při změně názvů backendových modelů. To také umožňuje týmům platformy přesunout provoz během incidentů poskytovatelů nebo ukončení podpory modelu, aniž by bylo nutné od každého vývojáře vyžadovat úpravu místního nastavení.

Krok 4: Nakonfigurujte každý nástroj jako klienta brány

VS kód BYOK

Pomocí postupu nastavení poskytovatele přidejte poskytovatele modelu a vyberte jej z výběru modelu chatu. Pokud rozhraní přijímá základní adresu URL, použijte koncový bod brány /v1. Použijte klíč vývojářské brány jako klíč API a odhalte schválená ID profilu modelu, jako je code-fast nebo code-review.

Provozní poznámka: Provoz BYOK pro modely podporované poskytovatelem je účtován podle nakonfigurované cesty poskytovatele, nikoli podle kvót GitHub Copilot. To je jeden z důvodů, proč mezi editor a poskytovatele backendu umístit účtování brány a přiřazení.

Aplikace GitHub Copilot BYOK

Pro aplikaci Copilot BYOK nakonfigurujte koncový bod HTTP kompatibilní s OpenAI se zobrazovaným názvem, základní adresou URL a klíčem API. Použijte zobrazovaný název, který objasňuje cestu směrování, například Company AI Gateway. Udržujte ID modelů zarovnaná s profily brány.

Nepředpokládejte, že každá funkce poháněná Copilotem bude procházet touto cestou. Některé sémantické vyhledávání, vložené návrhy nebo chování závislé na vkládání mohou zůstat svázány se službami GitHub nebo Copilot.

Pokračovat

Pokračovat může používat konfiguraci poskytovatele OpenAI s přepsanou základnou API. Minimální konfigurace by měla nasměrovat poskytovatele na bránu a jako modely používat ID profilu:

{
  "modely": [
    {
      "title": "Code Fast",
      "provider": "openai",
      "model": "kódově rychlý",
      "apiBase": "https://gateway.example.com/v1",
      "apiKey": "${GATEWAY_API_KEY}"
    }
  ]
}

Upřednostňujte proměnné prostředí nebo tajné úložiště před odevzdáváním klíčů do souborů dot nebo místní konfigurace úložiště.

Cline

Cline podporuje poskytovatele kompatibilního s OpenAI pomocí základní adresy URL, klíče API a ID modelu. Nakonfigurujte základní adresu URL jako koncový bod brány, zadejte klíč vývojáře a vyberte profil modelu, jako je code-agent pro agentní pracovní postupy.

U podnikových nasazení použijte konfiguraci správce, pokud je to možné, k vynucení koncového bodu kompatibilního s OpenAI v celé organizaci. To snižuje drift, zejména u týmů, které potřebují vlastní záhlaví, nastavení související s Azure nebo centrálně spravované cesty ověřování.

Roo Code

Roo Code podporuje konfiguraci OpenAI s volitelnou základní adresou URL. Nastavte základní adresu URL na bránu a použijte schválená ID modelů. Pokud nástroj odhaluje pokročilé ovládací prvky, jako je u podporovaných modelů úsilí o uvažování, rozhodněte, zda jsou tyto ovládací prvky uživatelsky konfigurovatelné nebo pevně stanovené zásadami brány.

Krok 5: Začněte se seznamem povolených

Přístup k otevřenému modelu je během experimentování atraktivní, ale agenti IDE mohou rychle produkovat velký objem tokenů. Začněte se seznamem povolených:

• Výchozí uživatelé získají code-fast a code-economy.
• Uživatelé agenta získají kódového agenta po registraci.
• Týmy náročné na kontrolu získávají kontrolu kódu s vyššími, ale explicitními rozpočty.
• Experimentální modely vyžadují vlastníka, datum vypršení platnosti a omezení použití.

Zásady by měly být viditelné v bráně, nikoli skryté v poznámkách k místnímu nastavení. Odmítnutý požadavek by měl vrátit jasnou chybu: vývojáře, klíč, profil modelu, důvod a další krok.

Krok 6: Sestavení analýzy pro otázky týkající se zavedení

Obecné součty tokenů nestačí. Zavedení vývojářských nástrojů vyžaduje analýzu, která odpovídá na provozní otázky:

• Útrata podle vývojáře a týmu
• Útrata podle úložiště nebo projektu, kde jsou dostupné štítky
• Směs modelů podle nástroje editoru
• Průměrná velikost kontextu a výstupní velikost podle profilu
• Neúspěšná volání seskupená podle tvaru koncového bodu, ID modelu a stavového kódu
• Odlehlé relace s neobvykle vysokým využitím tokenu
• Míra přístupů do mezipaměti, kde je podporováno rychlé ukládání do mezipaměti
• Upozornění o rozpočtu přesměrována na kanály telegramu nebo týmových operací

Ve výchozím nastavení používejte protokolování upravené promptem. Uchovávejte metadata požadavků, počty tokenů, ID modelů, načasování, typy chyb a účetní knihy nákladů. Ukládejte nezpracované výzvy pouze v případě, že existuje zdokumentovaný pracovní postup ladění, krátké uchovávání a vhodné řízení přístupu.

Krok 7: Odstraňte problémy s neshodami koncových bodů a schopností

Kompatibilní s OpenAI neznamená identické chování. Očekávejte rozdíly mezi dokončeními chatu, rozhraními API odpovědí, streamováním, voláním nástrojů, ovládacími prvky zdůvodnění, metadaty modelu a formáty chyb poskytovatele.

Pokud některý nástroj selže, použijte tento kontrolní seznam:

• Chyba připojení: Zkontrolujte místní proxy, firewall, DNS, kontrolu TLS a zda se nástroj může dostat k hostiteli brány.
• 401 nebo neplatný klíč: Potvrďte, že je klíč vývojáře aktivní, v rozsahu nástroje a vložený bez mezer.
• 404 nebo model nenalezen: Ujistěte se, že nástroj používá ID profilu brány, nikoli nezpracované ID modelu backendu.
• Špatný koncový bod: Ověřte, zda klient očekává /v1 v základní adrese URL, nebo jej připojí interně.
• Selhání volání nástroje: Potvrďte vybrané mapy profilu na model a adaptér, který podporuje volání nástroje ve formátu, který klient odesílá.
• Selhání streamování: Otestujte režim bez streamování a poté se ujistěte, že brána zachovává chování události odeslané serverem očekávané klientem.
• Neočekávaný výstup: Zkontrolujte, zda profil nezměnil modely back-endu, zda se systémové výzvy liší podle nástroje a zda klient nepoužívá nastavení zdůvodnění, které backend nepodporuje.

Krok 8: Zavádění po etapách

Nezačínejte s každým vývojářem a každým editorem. Použijte zavádění po etapách:

1. Pilot: Vyberte si jeden tým s aktivním používáním kódování AI. Vydávejte klíče pro jednotlivé vývojáře, povolte dva nebo tři profily a sbírejte protokoly s okamžitou úpravou.
2. Základní stav: Po jednom nebo dvou týdnech zkontrolujte výdaje podle uživatelů, mixu modelů, typů selhání a velikostí kontextu.
3. Zásady: Nastavte výchozí rozpočty, povolené profily a pravidla výjimek.
4. Automatizace: Zajišťovací klíče prostřednictvím jednotného přihlašování, SCIM, pracovního postupu Partner API nebo interního vstupního skriptu.
5. Rozšíření: Publikujte fragmenty nastavení pro každý podporovaný nástroj a použijte vzdálenou konfiguraci v rámci celé organizace, pokud to nástroj podporuje.

Postupný přístup umožňuje vývojářům včasnou pracovní cestu a zároveň umožňuje týmům platformy zpřísnit řízení pomocí údajů o skutečném využití.

Aplikovatelný závěr

Provozní model je přímočarý: každý asistent kódování VS Code AI bude vypadat jako klient brány, vydá jeden klíč brány pro každého vývojáře, vystaví profily modelů orientovaných na úkoly a centrálně analyzuje provoz editorů. To poskytuje vývojářům stejný místní pracovní postup a zároveň dává organizaci jedno místo pro správu fakturace, přístupu k modelu, odstraňování problémů a reakce na incidenty.

Začněte s pilotním projektem, malým seznamem povolených, rychle upravenými protokoly a upozorněními na rozpočet. Rozbalte až poté, co bude brána schopna odpovědět na základní otázky týkající se zavedení: kdo používá jaký nástroj, který profil modelu zvyšuje náklady, které neshody koncových bodů způsobují selhání a kteří vývojáři potřebují vyšší limity pro legitimní práci.

Související informace

• postupy správy klíčů API pro jednotlivé vývojáře
• analýza použití s okamžitou úpravou pro provoz brány
• plánování migrace profilu modelu a ukončení podpory