Los agentes de IA se protegen con 10 patrones concretos, no con esperanza

A los agentes de IA no se les protege con esperanza.Se les protege con 10 patrones concretos y límites estrictos.

(💾 Guárdalo para luego)

La mayoría de los incidentes reales no vendrán de «modelos malos».Vendrán de agentes con:

• demasiado acceso
• ningún guardarraíl
• cero trazabilidad
• ninguna validación

Si quieres agentes en producción, tienes que diseñar la arquitectura para esa realidad desde el principio.

Así lo planteo yo en empresas reales:

1) Mínimo privilegio y mediación de herramientas• Un agente, una tarea• Las mínimas herramientas, los mínimos datos• Cada acción pasa por una pasarela con listas de permitidos, comprobación de argumentos y límites de frecuencia

2) Límites de contexto• Ámbitos de recuperación estrictos• Nada de memoria compartida entre proyectos• Nada de compartir datos entre clientes• Acceso limitado en el tiempo a los datos sensibles

La limitación de la finalidad del RGPD y del EU AI Act se aplica aquí, no en un PDF.

3) Escalado y supervisión humana• Los agentes se detienen, las personas deciden.• Reglas claras sobre cuándo escalar: alto impacto, baja confianza, política poco clara.• Colas, SLA y un traspaso con todo el contexto.

4) Primero el plan, luego la ejecución, y filtrado de salidas• El modelo propone un plan.• Una capa determinista lo comprueba contra esquemas y reglas.• Solo se ejecutan los pasos aprobados.

5) Aislamiento• El razonamiento se ejecuta en sandboxes y redes restringidas.• Solo una capa de orquestación muy controlada habla con producción.

6) Defensa de las entradas• Trata toda entrada como hostil: prompts, correos, documentos, API.• Impón esquemas, elimina secuencias de control, rechaza estructuras raras.

7) Políticas como flujo de trabajo• Las políticas son código dentro del flujo, no diapositivas de una presentación.• Quién, qué datos, qué se registra, cuándo se escala → comprobaciones obligatorias.

8) Auditoría y trazabilidad• Si no puedes responder a «¿Por qué ha hecho eso el agente?», no tienes un sistema.• Tienes una demo.

9) Identidad y secretos• Los agentes son identidades con roles, no superadministradores.• Tokens de vida corta, secretos en un almacén seguro, ninguna credencial en prompts ni en logs.

10) Evaluación continua, monitorización y red teamingPrompts adversarios, casos de abuso, pruebas de fuga de datos, pruebas para saltarse las políticas.

Y, además, monitorización continua:

• Mide tasas de error, éxito o fracaso de las tareas y frecuencia de escalado
• Registra qué tareas fallaron y por qué, con telemetría respetuosa con la privacidad y sin datos personales en las trazas
• Usa el análisis de fallos para ajustar reglas, ámbitos y disparadores de supervisión

No puedes mejorar lo que no mides.Y no puedes defender lo que no has probado.

Los agentes no son peligrosos por naturaleza.Son peligrosos cuando los diseñas sin patrones ni límites.

Si estás desarrollando agentes para producción, empieza por estos 10.

---

↳ ¿Conoces a alguien que esté poniendo agentes en producción? Envíaselo.