Vaiksed kulukärped, mis lõhuvad su töövood pärast mudeli avalikustamist

Kõik on Opus 4.6 ja GPT-5.3 Codexi pärast hulluks läinud.Keegi ei räägi vaiksetest kulukärbetest, mis su töövood katki teevad.

Olen seda mustrit varem näinud.

Kui Gemini 3.0 välja tuli, rabas kvaliteet mind.Selge arutluskäik, tugev väljund, ületas kõik ootused.

Kaks nädalat hiljem:

• kummalised vead
• nõrgem arutluskäik
• väljundid, mida ma ei suutnud korrata

Esimene mõte: „Kas ma lõhkusin oma promptid ära?“Siis: „Kas olin nii elevil, et ignoreerisin vigu?“

Siis tuli pähe veel üks mõte. Siin on üks võimalik seletus, millest peaaegu keegi ei räägi.

Pärast avalikustamist, kui kära vaibub, on backend-tiimidel tohutu surve vähendada päringu hinda.

Kui compute-arved ulatuvad miljarditesse ja investorid nõuavad kasumlikkust, on optimeerimise ahvatlust võimatu ignoreerida.

Üks hoob kannab nime „kvantimine“.

Kvantimine teisendab mudeli kaalud 32-bitistest ujukomaarvudest 8- või 4-bitisteks täisarvudeks: väike täpsuskadu suure kiiruse ja mälusäästu eest.

Praktikas:• käitad mudelit madalama arvutustäpsusega• nagu 4K video tihendamine 1080p-ks• vähendad mälu- ja energiakasutust 50–75%

Paberil on kvaliteedikadu „minimaalne“.Tegelikult kukuvad esimesena läbi just need keerulised stsenaariumid, mis su äri jaoks kõige olulisemad on.

Teine hoob on lihtsamate ülesannete suunamine väiksematele mudelitele.

Teame, et GPT-5 suunab juba praegu ülesandeid dünaamiliselt selle põhjal, millise kvaliteeditaseme ta ise vajalikuks peab.

Sina ei otsusta, milline kvaliteeditase sinu päringut teenindab. Otsustab mudel.

Probleem on selles, et mudel kuulub tarnijale, kelle huvid ei ole sinu eesmärkidega samad.

Sinu API armatuurlaud ei näita seda kunagi.Ükski logi ei ütle, mida mudel valis.Mudeli nimi jääb samaks.Seadistus selle taga mitte.

Avalikustamise faas:• maksimaalne kvaliteet• võida võrdlusteste• ujuta sotsiaalmeedia üle vapustavate demodega

Alates 4. nädalast:• suru igale GPU-le rohkem päringuid• nihuta ressursse tipptunnil• lükka ühikuökonoomika nõukogule meelepärasesse tsooni

Tulemused sinu organisatsiooni jaoks:

Töövood kukuvad tootmises läbi.

Selle tagajärjel peavad tiimid kulutama aega promptide parandamisele või arhitektuuri muutmisele, selle asemel et järgmist süsteemi arendada.

Reguleeritud sektorid seisavad silmitsi mittedeterministlike väljunditega, mida nad ei suuda kaitsta.

Juurpõhjuse analüüs muutub äraarvamiseks, usaldus kukub kokku.

Minu vastus kriitilistele töövoogudele: ise majutatud open source LLM-id privaatpilves või on-premise.

Sina kontrollid:• mudeli seadistust ja riistvara• serveerimisarhitektuuri ja käitumist koormuse all• kvaliteedi monitooringut ja auditilogisid ajas

Esmaspäev kell 13:00 näeb välja täpselt nagu kolmapäev kell 2:00.

Mitte „vahel terav, vahel kummaline“.

Keskmise suurusega ettevõtetele, kes automatiseerivad kvaliteedikontrolli, dokumentatsiooni või klienditeenindust, tähendab suveräänsus kontrolli nii andmete kui ka kvaliteedi järjepidevuse üle.

Sellegipoolest olen väga elevil, et jätkata Opus 4.6 testimist ja viia see piirini.

Tootmises hoolin aga rohkem kolmanda kuu käitumisest kui esimese nädala jõudlusest.

Kas see olen ainult mina või näed sina ka seda?