<п>ОпенАИ је извршио значајну промену цена и кашњења у својој ГПТ-5.6 АПИ линији, снизивши цене ГПТ-5.6 Луна АПИ-ја за 80%, смањивши цене ГПТ-5.6 Терра за 20% и заменивши приоритетну обраду за ГПТ-5.6 Сол новим брзим режимом.<п>Основно ажурирање 230, објављено 2. јула и 6. јула, објављено 20. јула. предузећа која се баве великим обимом рада закључивања. Цена Терра АПИ-ја је сада 2 УСД по милиону улазних токена и 12 УСД за милион излазних токена. Луна цена је сада 0,20 УСД по милиону улазних токена и 1,20 УСД за милион излазних токена. ОпенАИ каже да Терра и Луна остају доступни у ЦхатГПТ Ворк, Цодек-у и ОпенАИ АПИ-ју, а промене цена такође почињу да се уводе у АВС касније истог дана.<п>Промена није само попуст. То мења начин на који тимови треба да размишљају о избору на нивоу модела, резервним правилима, буџетима кашњења и контроли трошкова АИ АПИ-ја. Луна је сада позиционирана много агресивније за радна оптерећења са нижим трошковима, док Терра постаје јефтинија за задатке којима је потребна већа способност, али не оправдавају ниво највеће кашњења или највише цене. У међувремену, Сол сада има јаснију опцију премиум брзине кроз Фаст режим.<х2>Оно што се променило у ценама АПИ-ја ОпенАИ<п>Наслов је смањење од 80% за ГПТ-5.6 Луна. Са 0,20 УСД за милион улазних токена и 1,20 УСД за милион излазних токена, Луна постаје много релевантнији кандидат за сумирање великих размера, класификацију, екстракцију, нацрте корисничке подршке, лаку помоћ кодирања и послове обраде у позадини где је јединични трошак важнији од врхунског квалитета размишљања.<п>ГПТ-5,6% за системе који још увек користе мању производњу, али Терра-20% смањење је и даље значајно смањење производње. за способније одговоре. Његова нова цена АПИ-ја је 2 долара за милион улазних токена и 12 долара за милион излазних токена. За апликације са великим генерисањем резултата, као што је састављање извештаја, генерисање кода, подучавање или агентско планирање, страна излазног токена остаје главна варијабла. Чак и скромно процентуално смањење може постати материјално у великој мери.<п>ОпенАИ је такође променио производ кашњења око ГПТ-5.6 Сол. Брзи режим замењује приоритетну обраду у АПИ-ју, остаје компатибилан са захтевима означеним као приоритет, а ОпенАИ га описује као до 2,5 пута бржу од стандардне обраде по двоструко већој цени. То ствара експлицитнији компромис: програмери могу да плате више за мање кашњење хитних захтева, а да притом задрже рутинска оптерећења на стандардној обради.<п>За тимове који упоређују најјефтиније опције АПИ-ја модела АИ, Луна рез је део који ће највероватније приморати поновно израчунавање. Радна оптерећења која су осетљива на цену која су раније можда била преусмерена на мање моделе од других провајдера, старије ОпенАИ моделе или отворене примене сада могу да захтевају још једну референтну процену у односу на Лунин нови профил трошкова.<х2>Зашто је ово важно за програмере и тимове производа<п>Трошкови АИ апликације ретко се одређују само ценом једног модела. Прави рачун зависи од стратегије рутирања, величине промпта, дужине завршетка, понашања при поновном покушају, кеширања, истовремености корисника и колико често систем ескалира са јефтинијег модела на способнији. Нове цене ОпенАИ-а чине те одлуке о рутирању важнијим, а не мање.<п>Уобичајени модел производње је да се за већину захтева користи модел са нижим трошковима и ескалација само када задатак захтева дубље резоновање, боље перформансе кодирања, јаче праћење инструкција или већу прецизност. Пошто је Луна сада много јефтинија, тимови могу да изаберу да шаљу више саобраћаја првог пролаза ка Луни, резервишу Терру за задатке средње сложености и користе Сол за путање које су највише осетљиве на кашњење или на могућности.<п>Брзи режим додаје другу димензију тој одлуци. Цхатбот-у за подршку, на пример, можда неће требати премиум кашњење за сумирање у позадини, али ће можда требати брже време одговора када корисник који плаћа чека у ћаскању уживо. Помоћник за кодирање може да покрене стандардну обраду за позадинске рефакторе, али користи брзи режим када је програмер блокиран у интерактивној сесији.<п>Овде АИ АПИ мрежни пролаз или вишемоделни АПИ слој постаје оперативно користан. Уместо да чврсто кодирају називе модела и ознаке приоритета у целој апликацији, тимови могу да централизују смернице: рутинске захтеве ка Луни, ескалирају двосмислене случајеве у Терра, резервишу Сол Фаст режим за путеве високе вредности или окренуте кориснику и примењују горње границе буџета према производу, тиму или клијенту. Модел Гате овде има практичну везу јер рутирање компатибилно са ОпенАИ-ом, обједињено наплату, управљање АПИ кључевима и аналитика коришћења су управо оно што су тимовима потребних контролних тачака када провајдер мења цене или режиме кашњења.<х2>Прилика за контролу трошкова је стварна, али није аутоматска<п>Ниже цене модела не гарантују нижи рачун.Многи тимови реагују на јефтиније закључивање повећањем употребе: дужим упитима, више корака агента, више покушаја, више генерисаних алтернатива или ширим увођењем функција. То је можда исправна одлука о производу, али може да избрише очекиване уштеде ако се употреба не мери пажљиво.<п>Непосредни задатак инжењерских и финансијских тимова је да упореде старе и нове комбиноване трошкове. Радна оптерећења са кратким улазима и дугим излазима ће имати различите користи од оптерећења којима доминира контекст преузимања или велики упити. Апликације које се већ у великој мери ослањају на Терра ће доживети директно смањење, док апликације које могу безбедно да пребаце саобраћај са скупљих нивоа на Луна могу имати веће добитке.<п>Програмери би такође требало да поново тестирају квалитет, кашњење и понашање у случају квара под реалним захтевима. Јефтинији модел је јефтинији само ако поуздано решава задатак. Ако Луна захтева више поновних покушаја, дуже упите или додатне кораке валидације за одређени случај употребе, ефективна предност трошкова може бити мања него што сугерише цена на листи. Насупрот томе, ако ради довољно добро за велики део рутинског посла, нова цена би могла материјално да промени архитектуру коштано осетљивих производа вештачке интелигенције.<п>Аналитика коришћења постаје посебно важна након промене цена. Тимови треба да виде који се модели користе, које руте генеришу највише излазних токена, који клијенти или интерни тимови подстичу потрошњу и где се покрећу режими премијум кашњења. Без те видљивости, брзи режим би могао да постане непримећен мултипликатор трошкова.<х2>Оно што остаје неизвесно<п>ОпенАИ приписује део побољшања цене сервирања ГПТ-5.6 Солу који помаже у оптимизацији производне инфраструктуре. То је оперативна тврдња прве стране, а јавни материјали не пружају независну ревизију инфраструктурних уштеда иза смањења цена.<п>Такође је прерано знати како ће конкуренти одговорити. Велико смањење цена Луна-е врши притисак на друге хостоване провајдере модела, платформе отвореног модела и странице са ценама на пролазу. Шира реакција тржишта зависиће од компаративног квалитета, кашњења, ограничења протока, услова предузећа и да ли други провајдери прате сопствене редукције.<п>За предузећа, најсигурнији одговор није да се ажурирање третира као једноставна победа у набавци. Требало би да покрене преглед рутирања. Који задаци се могу пребацити на Луну? Који би требало да остане на Терри? Коме је потребан режим Сол Фаст? Којим клијентима или интерним тимовима је дозвољено да користе премиум кашњење? Те одлуке ће одредити да ли ће нове цене постати трајно побољшање марже или само још један начин да се повећа потражња за закључком.