22 LLM pequeños ganan a un gran cerebro en control y coste

La mayoría de los proyectos de IA siguen persiguiendo modelos más grandes.Pero el salto en ROI llega con equipos pequeños y especializados de LLM.

Cuando diseño sistemas de IA, no pienso en «un gran cerebro».Pienso en mini-organizaciones.

Cada agente tiene:• una tarea• uno o varios traspasos• un papel claro

Un ejemplo de nuestro trabajo: procesar decenas de miles de correos electrónicos para un litigio.

Lo dividimos en:• Extracción OCR con 2 modelos distintos para controlar la calidad• Modelos que identifican dónde empieza y dónde acaba un correo• Modelos que identifican remitente y fecha, crean resúmenes y clasifican• LLM de control de calidad integrados en todo el proceso

(En realidad el proyecto era mucho más complejo, pero así te haces una idea)

22 LLM.22 tareas claras.

Esto es lo que pasa cuando diseñamos sistemas así:

• Vemos dónde se rompen las cosas
• Cambiamos las piezas débiles sin tocar el resto
• Usamos modelos ligeros donde no hacen falta modelos frontier

Más control.Más explicabilidad.Menos coste.Menos consumo de energía.

Ahora entra en juego una nueva capa.

Acaba de salir Kimi K2.5 y es tan potente como los modelos frontier propietarios.

¿Lo interesante? Crea su propia «mini-organización» dentro del modelo.

Le doy una tarea.El modelo crea un enjambre de agentes:• hasta 100 agentes pequeños• trabajando en paralelo• cada uno con un papel concreto

Resultados en algunas pruebas:• hasta 4,5x más rápido que ejecutar un único modelo de forma secuencial• trabajo más complejo de una sola vez• sin necesidad de diseñar los roles a mano

Suena genial.Pero aquí está la tensión.

Cuando el modelo crea su propio enjambre, gano velocidad pero pierdo el control directo.

• Veo menos de lo que pasa dentro
• Dependo más de la lógica de orquestación
• Aparecen nuevos modos de fallo ocultos entre agentes

En entornos regulados o en procesos críticos, esto es un problema.

No me malinterpretes: este modelo es fantástico y demuestra una vez más que el open source es igual de potente que Claude, GPT y Gemini. Creo que, a partir de ahora, el open source dominará en rendimiento para la mayoría de los casos de uso.

Pero es una decisión de diseño.

Desarrolla tu propio sistema de agentes cuando:• Necesitas trazabilidad para auditorías (legal, compliance, finanzas)• Los errores tienen un coste directo para el negocio (comunicación con clientes, facturación)• La calidad tiene que ser constante en miles de casos

Deja que el modelo cree su enjambre cuando:• Exploras terreno nuevo sin un proceso claro• La velocidad importa más que la perfección• Hay revisión humana antes de cualquier acción

Todo el mundo habla de agentes más potentes.Pocos hablan de arquitecturas responsables.

Un sistema que puedes abrir, depurar y hacer evolucionar gana a la caja negra más potente.

El tamaño y la potencia impresionan.Cuando el objetivo es el ROI, gana la fiabilidad.

¿Dónde pondrías tu apuesta: en la potencia o en la fiabilidad?