22 LLM pequenos ganham a um cérebro gigante em controlo e custo

A maioria dos projetos de IA continua a perseguir modelos maiores.Mas o salto no ROI vem de equipas pequenas e especializadas de LLM.

Quando desenho sistemas de IA, não penso num “cérebro gigante”.Penso em pequenas organizações.

Cada agente tem:• uma tarefa• uma ou várias passagens de testemunho• um papel claro

Exemplo do nosso trabalho: processar dezenas de milhares de e-mails para um processo judicial.

Dividimos o trabalho em:• Extração OCR com 2 modelos diferentes para controlo de qualidade• Modelos que identificam onde começa e acaba cada e-mail• Modelos que identificam o remetente e a data e hora, criam resumos e categorizam• LLM de gestão da qualidade integrados em todo o processo

(Na realidade, o projeto era muito mais complexo, mas isto dá para ter uma ideia)

22 LLM.22 funções claras.

Eis o que acontece quando desenhamos sistemas assim:

• Vemos onde as coisas partem
• Trocamos as peças fracas sem mexer no resto
• Usamos modelos leves onde não são precisos frontier models

Mais controlo.Mais explicabilidade.Menos custo.Menos consumo de energia.

Agora entra em jogo uma nova camada.

O Kimi K2.5 acabou de sair e é tão potente como os frontier models proprietários.

A parte interessante? Cria a sua própria “pequena organização” dentro do modelo.

Dou-lhe uma tarefa.O modelo cria um enxame de agentes:• até 100 pequenos agentes• a trabalhar em paralelo• cada um com um papel específico

Resultados em alguns testes:• até 4,5x mais rápido do que correr um único modelo em sequência• trabalho mais complexo de uma só vez• sem necessidade de desenhar papéis à mão

Parece ótimo.Mas aqui está a tensão.

Quando o modelo cria o seu próprio enxame, ganho velocidade mas perco controlo direto.

• Vejo menos do que acontece lá dentro
• Dependo mais da lógica de orquestração
• Surgem novos modos de falha escondidos entre os agentes

Em ambientes regulados ou em processos críticos, isto é um problema.

Não me interpretes mal: este modelo é fantástico e prova mais uma vez que o open source é tão potente como o Claude, o GPT e o Gemini. Acredito que, daqui para a frente, o open source vai dominar em desempenho na maioria dos casos de uso.

Mas é uma escolha de design.

Desenvolve o teu próprio sistema de agentes quando:• Precisas de trilhos de auditoria (jurídico, compliance, finanças)• Os erros têm custos diretos para o negócio (comunicação com clientes, faturação)• A qualidade tem de ser consistente em milhares de casos

Deixa o modelo criar o seu enxame quando:• Estás a explorar território novo sem um processo claro• A velocidade importa mais do que a perfeição• Há revisão humana antes de qualquer ação

Toda a gente fala de agentes mais potentes.Poucos falam de arquiteturas responsáveis.

Um sistema que consegues abrir, depurar e fazer evoluir vale mais do que a caixa negra mais potente.

Tamanho e potência impressionam.Quando o objetivo é ROI, ganha a fiabilidade.

Onde fazes a tua aposta: potência ou fiabilidade?