22 väikest LLM-i võidavad ühe suure aju kontrolli ja kulu poolest

Enamik AI-projekte ajab endiselt taga suuremaid mudeleid.Aga ROI läbimurre tuleb väikestest ja spetsialiseeritud LLM-ide tiimidest.

Kui ma AI-süsteeme kujundan, ei mõtle ma „ühe suure aju“ kaupa.Mõtlen miniorganisatsioonides.

Igal agendil on:• üks ülesanne• üks või mitu üleandmist• üks selge roll

Näide meie tööst: kümnete tuhandete e-kirjade töötlemine kohtuasja jaoks.

Jagame selle osadeks:• OCR-tuvastus 2 erineva mudeliga kvaliteedikontrolliks• Mudelid, mis tuvastavad, kus e-kiri algab ja lõpeb• Mudelid, mis tuvastavad saatja ja ajatempli, koostavad kokkuvõtted ja kategoriseerivad• Kvaliteedijuhtimise LLM-id kogu ahela sees

(Tegelikult oli projekt palju keerulisem, aga sellest saad idee kätte)

22 LLM-i.22 selget ülesannet.

Kui kujundame süsteeme nii, juhtub järgmine:

• Näeme, kus asjad katki lähevad
• Vahetame nõrgad osad välja ilma ülejäänut puutumata
• Kasutame kergeid mudeleid seal, kus frontier-mudeleid vaja pole

Rohkem kontrolli.Rohkem seletatavust.Väiksem kulu.Väiksem energiakasutus.

Nüüd tuleb mängu uus kiht.

Kimi K2.5 ilmus just ja on sama võimas kui suletud frontier-mudelid.

Huvitav osa? See loob mudeli sees oma „miniorganisatsiooni“.

Annan sellele ülesande.Mudel loob agendiparve:• kuni 100 väikest agenti• töötavad paralleelselt• igaühel oma kindel roll

Tulemused mõnes testis:• kuni 4,5x kiirem kui üks mudel järjestikku• keerulisem töö ühe korraga• rolle pole vaja käsitsi kujundada

Kõlab suurepäraselt.Aga siin on pinge.

Kui mudel loob oma parve ise, võidan kiiruses, aga kaotan otsese kontrolli.

• Näen vähem sellest, mis sees toimub
• Sõltun rohkem orkestreerimisloogikast
• Agentide vahele tekivad uued varjatud tõrkeviisid

Reguleeritud keskkondades või kriitilistes protsessides on see probleem.

Ära mõista mind valesti: see mudel on fantastiline ja tõestab taas, et open source on sama võimas kui Claude, GPT ja Gemini. Usun, et edaspidi domineerib open source jõudluses enamikus kasutusjuhtudes.

Aga see on disainivalik.

Arenda oma agendisüsteem, kui:• Vajad auditijälge (õigus, vastavus, rahandus)• Vigadel on otsene äriline hind (kliendisuhtlus, arveldus)• Kvaliteet peab tuhandete juhtumite lõikes ühtlane olema

Lase mudelil oma parv luua, kui:• Uurid uut territooriumi ilma selge protsessita• Kiirus on olulisem kui täiuslikkus• Inimene vaatab kõik üle enne mis tahes tegevust

Kõik räägivad võimsamatest agentidest.Vähesed räägivad vastutustundlikust arhitektuurist.

Süsteem, mida saad avada, siluda ja edasi arendada, on parem kui kõige võimsam must kast.

Suurus ja võimsus avaldavad muljet.Kui eesmärk on ROI, võidab töökindlus.

Kuhu sina panuse teeksid: võimsus või töökindlus?