OpenAI október 26-án kiadta a GPT-6.1 Terrát a Responses és Chat Completions API-kon keresztül, egy alacsonyabb árú modellel adva hozzá a számítógéphasználatot is magában foglaló munkaterheléseket. A normál API-díj 1 USD/millió bemeneti token, 0,05 USD/millió gyorsítótárazott bemeneti token és 5 USD/millió kimeneti token.
ATerra a ChatGPT Work és Codex verziókban is megjelenik, de a szabványos ChatGPT verzióban nem érhető el. Ez a megkülönböztetés az ügyfelekkel való hozzáférést kommunikáló vállalkozások számára fontos: a API-lista, a munkahelyi termék bevezetése és a fogyasztói csevegési felületen való elérhetőség külön terjesztési csatornák.
A bevezetés egy új OpenAI útvonalválasztási lehetőséget hoz létre az osztályozáshoz vagy kinyeréshez használt olcsó modellek és a költségesebb érvelési modellek között. Az átjáró üzemeltetői számára is ismert működési problémát jelent: a fő ár csak az integrációs munka kezdete.
A Terra ára a terhelés alakjától függ
A közzétett árak mellett a kimeneti tokenek ötször annyiba kerülnek, mint a hagyományos bemeneti tokenek. A gyorsítótárazott bevitel ára a normál beviteli arány 5%-a. Azok az alkalmazások, amelyek ismételten stabil utasításokat, eszközleírásokat vagy más újrafelhasználható környezetet küldenek, ezért lényegesen eltérő költségprofilt láthatnak, mint az olyan alkalmazások, amelyek nagy válaszokat generálnak, vagy folyamatosan módosítják az utasításaikat.
Ez különösen fontos a számítógépet használó ügynökök esetében. Az ilyen rendszerek több megfigyelési, érvelési és cselekvési cikluson futhatnak át, mielőtt egy feladatot elvégeznének. Még akkor is, ha a modell bemeneti ára alacsony, a bőbeszédű kimenetek vagy a hosszú szerszámhurkok növelhetik a teljes számlát. Ezért OpenAI bejelentett díját a teljes feladat költségéhez kell viszonyítani, nem csak az első kérés árához.
A unified AI API billing-t használó csapatoknak külön könyvelésre van szükségük a normál bemenethez, a gyorsítótárazott bemenethez és a kimenethez. Ha ezeket a kategóriákat összevonjuk egy vegyes token-figurává, az elfedné mind az ügyfelek díjait, mind az átjárók árrését. Az értékeléseknek rögzíteniük kell a tokeneket és a költségeket a teljes ügynökfutás során, beleértve a sikertelen lépéseket és az újrapróbálkozásokat is.
Az átjáróknak metaadatokra, házirend- és kompatibilitási frissítésekre van szükségük
A Terra többmodell API átjáróhoz a csapatok számára több mint a modellazonosító regisztrálása szükséges. A katalógusrekordokhoz szükség van a három token arányra, a támogatott API felületekre, a képességek metaadataira és a regionális korlátozásokra. Az útválasztási rendszereknek azt is meg kell különböztetniük, hogy a munkaterhelés előnyös-e az azonnali gyorsítótárazásból, és hogy valószínűleg elegendő kimenetet vagy eszköziterációt produkál-e a látszólagos bemeneti ár-előny törléséhez.
AOpenAI azt mondja, hogy az Egyesült Arab Emírségekben való kikövetkeztetési tartózkodási hely nem támogatott ennél a modellnél. Egy regionális kezelést ígérő átjáró nem kezelheti a Terrát egy másik OpenAI modell felcserélhető helyettesítőjeként, amikor a bérlőnek Egyesült Arab Emírségekbeli lakóhelyre van szüksége. A korlátozásnak láthatónak kell lennie a modellfelderítésben, érvényesíteni kell az útválasztási szabályzatban, és meg kell őrizni a kérésnaplókban, hogy az operátorok megmagyarázhassák, miért blokkolták a kérelmet, vagy miért küldték el máshova.
A viszonteladók további kommunikációs problémával szembesülnek. Az AI API viszonteladói platform nem jelenti azt, hogy az ügyfél ChatGPT előfizetése Terra API hozzáférést tartalmaz, vagy hogy a API elérhetőség azt jelenti, hogy a modell a szabvány ChatGPT szerint választható. A termékkatalógusoknak és az ügyfeleknek szóló használati jelentéseknek külön kell azonosítaniuk a hozzáférési csatornát és a hatékony modellt.
AModel Gate és hasonló OpenAI-kompatibilis szolgáltatások esetében a gyakorlati kiadási ellenőrzőlista tartalmazza a modell hozzáadását, a gyorsítótár-alapú árak alkalmazását, a tartózkodási hely korlátozásának feltárását, valamint a válaszok és a csevegés befejezésének viselkedését. Az árrésszabályokat akkor is felül kell vizsgálni, ha a gyorsítótárazott tokenek átadása szolgáltatói költségen történik, miközben a normál bemenet és kimenet eltérő jelöléseket tartalmaz.
A teljesítményre vonatkozó állítások független tesztelésre szorulnak
AOpenAI a Terra képességeinek, sebességének és hallucinációjának javításáról számolt be, de ezeket az állításokat nem sikerült mindegyiket önállóan reprodukálni. A megfelelő összehasonlítás a munkaterheléstől függően is változhat. Egy olyan modell, amely gazdaságos a rövid strukturált válaszokhoz, kevésbé vonzó lehet egy olyan ügynök számára, amely kiterjedt érvelést bocsát ki, újra próbálkozik a műveletekkel vagy hosszú számítógép-használati munkameneteket hajt végre.
A fejlesztőknek a hagyományos csevegési tesztek eredményeinek átvitele helyett érdemes összehasonlítani a Terrát reprezentatív utasításokkal, eszközökkel és befejezési korlátokkal. A hasznos mérések közé tartozik a feladat befejezési aránya, a végpontok közötti késleltetés, a gyorsítótár találati gyakorisága, a kimeneti mennyiség, a szerszámciklusok száma és a sikeres feladatonkénti összköltség.
A Terra közvetlen jelentősége tehát nem az, hogy általánosan olcsóbb. Ez a(z) API vásárlóknak további OpenAI ársávot ad, és az útválasztási rendszereknek újabb kompromisszumokat ad a modellezéshez. Az, hogy csökkenti-e az előállítási költségeket, a gyorsítótárazási viselkedéstől, a válasz hosszától, az ügynökhurok hatékonyságától és az egyes kérésekhez csatolt regionális szabályzatoktól függ.