Las barreras de los agentes fallan a mitad de trayectoria: leer la traza supera al alineamiento

¿De qué se trata?

Casi todas las barreras de seguridad (guardrails) del mercado se evalúan igual: se les entrega un prompt o una respuesta del modelo y se les pide que marquen lo dañino. Tenía sentido cuando un LLM era un chatbot cuya única salida era texto. Tiene mucho menos sentido para un agente, cuyo comportamiento peligroso no reside en la respuesta final sino en las llamadas a herramientas intermedias que emite por el camino.

TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories (arXiv:2604.07223, enviado el 8 de abril de 2026) es el primer benchmark diseñado para probar las barreras donde ahora importa: a mitad de trayectoria. Los autores construyen TraceSafe-Bench, más de 1.000 instancias de ejecución que abarcan 12 categorías de riesgo — desde amenazas de seguridad como la inyección de prompt y las fugas de datos hasta fallos operativos como las alucinaciones y las incoherencias de interfaz — y someten a ellas 20 sistemas de guarda: 13 modelos generalistas usados como LLM-as-a-guard, más 7 barreras de seguridad específicas. El resultado es incómodo para quien confía en un modelo de seguridad especializado para vigilar su agente.

Cómo funciona

El benchmark redefine la unidad de evaluación. En lugar de puntuar una respuesta aislada, puntúa el juicio de una barrera sobre una trayectoria: la secuencia de definiciones de herramientas, llamadas, argumentos y observaciones devueltas que un agente produce mientras persigue un objetivo. Un riesgo puede aparecer en el paso tres y no en el paso uno; puede ser visible solo en un argumento JSON malformado, o solo una vez que una observación devuelta se reinyecta en la siguiente llamada. La tarea de la barrera es detectarlo en cualquier punto de esa cadena.

Aquí no se reproduce ninguna cadena de explotación, y ninguna es necesaria para entender el hallazgo. El punto es estructural: lo que emite un agente no es prosa, es un registro de ejecución semiestructurado, y leerlo correctamente es una habilidad distinta de juzgar si una frase es tóxica.

Por qué importa

Las tres conclusiones principales de TraceSafe contradicen cada una una creencia común.

Primero, un cuello de botella estructural. La eficacia de una barrera sobre trayectorias depende más de su capacidad para parsear datos estructurados — JSON, esquemas de herramientas, campos de argumentos — que de su alineamiento de seguridad. El rendimiento correlaciona fuertemente con la competencia estructurado-a-texto (ρ = 0,79) pero muestra una correlación casi nula con las puntuaciones estándar de robustez frente a jailbreak. Dicho de otro modo, el benchmark de seguridad que usó para elegir su barrera no predice casi nada sobre su rendimiento en trazas de agentes.

Segundo, la arquitectura prima sobre la escala. La arquitectura del modelo importó más que el número de parámetros para la detección de riesgo en trayectoria, y los LLM generalistas superaron sistemáticamente a las barreras de seguridad especializadas — justamente los productos que a menudo se venden como la respuesta a la seguridad de los agentes.

Tercero, la estabilidad temporal. La precisión se mantuvo, y a veces mejoró, en las trayectorias largas: los pasos adicionales permiten al modelo pasar de las definiciones estáticas de herramientas al comportamiento dinámico real del agente, dándole más elementos para juzgar. Los agentes de horizonte largo no son automáticamente más difíciles de vigilar — siempre que el vigilante sepa leer la traza.

La lectura operativa es directa. Una barrera que domina un ranking de jailbreak puede estar casi ciega ante el flujo de llamadas a herramientas donde su agente realmente causa daño, y un pequeño clasificador «ajustado a la seguridad» puede ser peor elección que un modelo generalista capaz de leer la traza.

Defensas

1. Deje de evaluar las barreras de agentes con benchmarks solo conversacionales. Una alta puntuación de robustez frente a jailbreak no se transfiere a la vigilancia de trayectorias (ρ ≈ 0 en TraceSafe). Pruebe las barreras candidatas con trazas reales de llamadas a herramientas de sus propios agentes antes de confiar en ellas.

2. Pondere la competencia con datos estructurados al seleccionar. Dado que la capacidad de parseo — y no la etiqueta «seguridad» — predijo el rendimiento en trayectoria, prefiera un vigilante que lea de forma fiable JSON, esquemas de herramientas y campos de argumentos. Aquí un LLM generalista como LLM-as-a-guard superó a las barreras dedicadas.

3. Verifique a nivel de paso, antes de la ejecución — no solo al final. Un trabajo complementario, ToolSafe (arXiv:2601.10156, 15 de enero de 2026), construye una guarda a nivel de paso previa a la ejecución (TS-Guard) y un bucle de retroalimentación (TS-Flow) que reducen las llamadas dañinas a herramientas de los agentes tipo ReAct en un 65 % de media mientras mejoran en ~10 % la finalización de tareas legítimas bajo ataques de inyección de prompt. Interceptar la llamada antes de que se ejecute es mejor que revisar el transcript después.

4. Mantenga una frontera de autorización determinista bajo el vigilante basado en modelo. Una barrera es una capa de captura probabilística; combínela con alcances de herramientas de mínimo privilegio y denegación por defecto en las acciones sensibles, para que una trayectoria no detectada no se convierta en una acción ejecutada.

5. Optimice ambas habilidades, no una sola. La conclusión de TraceSafe es que asegurar los flujos de trabajo agénticos exige mejorar conjuntamente el razonamiento estructural y el alineamiento de seguridad. Un vigilante fuerte en un solo eje deja un hueco predecible.

Estado

Elemento	Referencia	Fecha	Notas
TraceSafe-Bench	arXiv:2604.07223	2026-04-08	1.000+ instancias de trayectoria, 12 categorías de riesgo, 20 sistemas de guarda
Cuello de botella estructural	Ídem	2026-04-08	Eficacia ligada a la competencia JSON/estructurada (ρ=0,79); correlación ~0 con la robustez frente a jailbreak
Arquitectura > escala	Ídem	2026-04-08	Los LLM generalistas superan a las barreras de seguridad especializadas en las trazas
Guarda a nivel de paso (defensa)	arXiv:2601.10156	2026-01-15	TS-Guard / TS-Flow reducen las llamadas dañinas ~65 %, +~10 % de tareas legítimas bajo inyección

La lección no es que las barreras sean inútiles. Es que la superficie de seguridad de un agente es su traza de ejecución, y una barrera elegida con benchmarks conversacionales se selecciona para la tarea equivocada. Mida su vigilante allí donde el agente actúa, o acepte que no sabe si está vigilando algo.