Agentes autónomos ejecutan tareas, consultan datos, toman decisiones; permisos, supervisión, trazabilidad y responsabilidad definirán el riesgo.
Guillermo Aguilera Lozano
Tiempo de lectura: 13 minutos.
La seguridad en IA agéntica no puede depender de que el sistema se controle por sí mismo. La responsabilidad permanece en quienes lo diseñan, integran, autorizan y operan.
Un agente de inteligencia artificial no se limita a redactar respuestas. Puede consultar aplicaciones, usar credenciales, llamar herramientas y completar varios pasos para cumplir un objetivo.
Puede revisar correos, comparar precios, reservar viajes, modificar registros, responder clientes o iniciar una operación financiera. Esa capacidad promete ahorro de tiempo, pero también aumenta las consecuencias de cada error.
El debate dejó de ser teórico. NIST reconoce que estos sistemas pueden operar con supervisión limitada y acceder a datos, herramientas y aplicaciones. Por ello, investiga estándares de identidad, autorización, auditoría y atribución para agentes autónomos.
La pregunta también orienta un encuentro convocado por IQSEC para el 30 de julio de 2026. Su planteamiento central resulta incómodo: saber exactamente qué puede hacer cada agente que ya está en producción.
De responder preguntas a ejecutar acciones
Un chatbot convencional recibe una pregunta y devuelve una respuesta. Puede equivocarse, inventar información o entregar una recomendación inadecuada.
Un agente añade otra capa. Recibe un objetivo, diseña una secuencia, elige herramientas, consulta fuentes y ejecuta acciones. Después puede revisar el resultado y continuar.
Pensemos en un asistente de viajes. Un chatbot recomienda destinos. Un agente podría revisar el calendario, comparar vuelos, elegir horarios y reservar con una tarjeta almacenada.
Riesgos de los agentes de IA, supervisión humana de inteligencia artificial, responsabilidad por decisiones automatizadas, permisos de agentes autónomos, seguridad de IA empresarial.
El beneficio es evidente. El usuario evita búsquedas repetitivas y procesos tediosos. Sin embargo, un error puede producir una reservación equivocada, un cargo indebido o la exposición de datos.
Algo similar ocurre dentro de una empresa. Un agente puede atender solicitudes, crear cuentas, emitir reembolsos, actualizar inventarios o preparar órdenes de compra.
Cada función añade autoridad. Cuantas más herramientas y credenciales recibe, mayor será el daño posible si interpreta mal una instrucción.
Problema no es autonomía, sino autoridad
La autonomía por sí misma no siempre resulta peligrosa. Un agente aislado, sin acceso a datos ni herramientas externas, tiene un margen limitado para causar daños.
El riesgo crece cuando obtiene credenciales, permisos administrativos, conexión con bases de datos o acceso a sistemas financieros. Entonces deja de ser sólo un generador de texto.
Por esa razón, NIST estudia cómo asignar una identidad propia a cada agente. También analiza autorización, auditoría, no repudio y controles contra instrucciones maliciosas.
La identidad permite responder preguntas básicas. ¿Qué agente realizó una acción? ¿En nombre de quién trabajaba? ¿Qué permiso utilizó? ¿Quién autorizó ese acceso?
Sin esa información, una empresa puede saber que algo ocurrió, pero no reconstruir cómo ocurrió. Tampoco podrá distinguir entre un error, un abuso o un ataque.
Ataques escondidos entre documentos y correos
Uno de los mayores riesgos es la denominada prompt injection. Consiste en introducir instrucciones maliciosas dentro del contenido que procesa un modelo.
La orden puede aparecer en una página, un correo, un archivo PDF o una invitación de calendario. Incluso puede ocultarse mediante texto poco visible.
Un empleado quizá no detecte esa instrucción. El agente sí la procesa y podría confundirla con una indicación legítima.
La OWASP Foundation advierte que un atacante puede desviar los objetivos del agente. También puede inducirlo a utilizar herramientas legítimas de una forma peligrosa.
Un correo aparentemente normal podría indicarle que ignore sus reglas y envíe información hacia una dirección externa. Un documento podría pedirle ejecutar un archivo.
OWASP agrupa los riesgos en diez categorías. Incluye secuestro del objetivo, abuso de privilegios, herramientas mal utilizadas, memoria contaminada, fallas en cadena y agentes descontrolados.
También identifica riesgos en la cadena de suministro. Un agente puede conectarse con complementos, servidores o herramientas desarrolladas por terceros.
Si uno de esos componentes fue alterado, el agente puede confiar en una herramienta maliciosa. La amenaza entra por una integración que parecía legítima.
Memoria útil también puede volverse peligrosa
Muchos agentes conservan contexto para evitar que el usuario repita información. Recuerdan preferencias, instrucciones anteriores y datos necesarios para continuar una tarea.
Esa memoria mejora la experiencia. Sin embargo, también puede guardar información incorrecta, instrucciones manipuladas, credenciales o datos pertenecientes a otra persona.
Un atacante podría contaminar esa memoria mediante un archivo o mensaje preparado. El agente reutilizaría posteriormente la información sin reconocer su origen malicioso.
La separación entre usuarios, sesiones y tareas resulta indispensable. Una conversación no debe heredar secretos, permisos o instrucciones pertenecientes a otra.
También deben existir límites sobre la duración del contexto. Recordarlo todo no siempre mejora al agente. A veces sólo amplía la superficie de exposición.
Quién vigila: identidad, permisos y propietario
No existe un único vigilante capaz de resolver todos los riesgos. La protección necesita varias capas técnicas, operativas y humanas.
Cada agente debe tener una identidad única. También necesita un propietario humano que responda por su configuración, permisos, finalidad y comportamiento.
Cisco propone extender el modelo de zero trust hacia la fuerza laboral digital. Cada agente debe registrarse, vincularse con un responsable y dejar una ruta auditable.
La compañía también recomienda permisos temporales, específicos para cada herramienta y limitados al tiempo estrictamente necesario. El sistema debe revisar además el comportamiento durante la ejecución.
Un agente que sólo resume correos no necesita permiso para enviarlos o borrarlos. Un asistente de compras no requiere acceso ilimitado a una tarjeta.
El principio adecuado es la mínima autoridad. El agente debe recibir únicamente la capacidad necesaria para completar una tarea concreta.
Los permisos también deberían caducar. Una credencial permanente puede quedar olvidada y convertirse en una puerta abierta.
Aprobación humana no debe ser decorativa
Agregar un botón de confirmación no garantiza supervisión real. Una persona puede aprobar mecánicamente si recibe demasiadas solicitudes o carece de información.
El responsable debe conocer el objetivo, los datos utilizados y la acción propuesta. También debe entender sus posibles consecuencias.
Antes de transferir dinero, eliminar archivos, publicar información o cambiar permisos, el agente debe mostrar un resumen claro. La persona necesita tiempo para revisar.
También debe existir autoridad para rechazar, modificar o detener la operación. Una supervisión sin capacidad de intervención sólo crea una apariencia de control.
La legislación europea ofrece una referencia. La Ley de Inteligencia Artificial exige que determinadas funciones de supervisión recaigan en personas con competencia, capacitación y autoridad suficientes.
Varias obligaciones generales de transparencia comenzarán a aplicarse el 2 de agosto de 2026. Los usuarios deberán saber, en determinados casos, que interactúan con un sistema automatizado.
Esa normativa no se aplica automáticamente a todos los casos mexicanos. Sin embargo, muestra hacia dónde avanzan los criterios internacionales.
Quién responde cuando el agente causa daños
La empresa no puede presentar al agente como un tercero independiente. El sistema opera porque alguien lo seleccionó, configuró y conectó con determinadas herramientas.
El desarrollador debe documentar capacidades y limitaciones. El integrador debe asegurar las conexiones, validar herramientas y restringir permisos.
La organización que despliega el agente debe definir dónde puede actuar. También debe monitorearlo, conservar registros y establecer mecanismos de reclamación.
El responsable humano debe intervenir en decisiones sensibles. Sin embargo, su presencia no elimina las obligaciones de la empresa que presta el servicio.
La distribución jurídica dependerá del contrato, el sector, los datos afectados y la naturaleza del daño. También dependerá de quién controlaba realmente la operación.
En una relación de consumo, el proveedor conserva deberes de información, seguridad, calidad y cumplimiento. Profeco recuerda que la persona consumidora puede exigir compensación y protección ante incumplimientos.
Por ello, una tienda no debería responder que “el algoritmo decidió” ante un cargo incorrecto. Una aerolínea tampoco debería cerrar una reclamación porque la gestionó un asistente automático.
El agente puede participar en la decisión. No debe convertirse en una barrera que impida identificar al responsable.
México todavía prepara reglas específicas
México aún no cuenta con una ley general publicada que distribuya de forma específica las responsabilidades por sistemas de inteligencia artificial.
En abril de 2026, una comisión del Senado de la República informó que estaba preparada para presentar una iniciativa. El proyecto surgió después de consultar a 72 especialistas.
La Cámara de Diputados también ha recibido propuestas para facultar al Congreso en esta materia. Incluyen supervisión, seguridad, transparencia, ética e impacto social.
Mientras avanza la legislación, continúan aplicándose normas de consumo, datos personales, contratos, servicios financieros, salud, trabajo y responsabilidad civil.
Esto significa que la ausencia de una ley exclusiva no crea una zona sin obligaciones. Las empresas siguen respondiendo por sus servicios y por el tratamiento de información.
La dificultad consiste en atribuir cada acción dentro de cadenas complejas. Pueden participar el modelo, la plataforma, el integrador, la empresa usuaria y varios proveedores.
Por ello, los registros técnicos serán fundamentales. Sin trazabilidad, determinar responsabilidades puede resultar lento y costoso.
Registro completo de cada decisión
Un agente seguro debe dejar constancia de sus acciones. El registro necesita incluir hora, usuario, objetivo, herramienta empleada, datos consultados y resultado.
También debe conservar los cambios de permisos y las aprobaciones humanas. El historial debe impedir modificaciones posteriores que oculten una acción.
La trazabilidad ayuda a investigar incidentes, corregir errores y atender reclamaciones. También permite descubrir patrones antes de que causen daños mayores.
OWASP recomienda registros inmutables, monitoreo de anomalías y revisión de secuencias poco habituales. Un acceso a clientes seguido por un envío externo debe generar una alerta.
Los límites de gasto también son necesarios. Un agente puede entrar en un ciclo y consumir llamadas, almacenamiento o tokens sin control.
El sistema debe establecer presupuestos, frecuencias máximas y suspensión automática. La velocidad no justifica un consumo ilimitado.
Botón de emergencia y recuperación
Toda organización necesita una forma inmediata de detener al agente. El mecanismo debe revocar credenciales, cancelar tareas pendientes y bloquear conexiones.
No basta con apagar una interfaz. El agente puede mantener procesos, sesiones o herramientas activas en otros servicios.
La empresa también necesita respaldos y procedimientos de recuperación. Un agente con permiso para modificar datos puede cometer cientos de errores en segundos.
Conviene probar regularmente el mecanismo de detención. Un control nunca ensayado puede fallar durante una emergencia.
Las pruebas deben incluir instrucciones engañosas, herramientas comprometidas, pérdida de conexión, datos incorrectos y acciones fuera del objetivo original.
NIST concluyó que los agentes presentan amenazas novedosas. Los participantes en su consulta señalaron que las prácticas tradicionales necesitan adaptarse a estos sistemas.
Impacto cotidiano para usuarios
Los agentes autónomos llegarán a servicios que millones de personas utilizan diariamente. Pueden aparecer en bancos, tiendas, aseguradoras, aerolíneas, hospitales y oficinas públicas.
Un banco podría bloquear una compra o solicitar una verificación. Una aseguradora podría clasificar una reclamación. Una empresa podría filtrar candidatos.
La automatización puede reducir tiempos y resolver trámites sencillos. También puede multiplicar decisiones equivocadas si trabaja con datos incompletos.
El usuario necesita una vía humana para impugnar resultados importantes. También debe recibir un folio, explicación y constancia de cualquier corrección.
Las plataformas deberían informar cuándo un agente ejecutará acciones. La advertencia debe aparecer antes de compartir datos, confirmar pagos o modificar servicios.
También deben distinguir entre recomendación y ejecución. Sugerir un vuelo no equivale a comprarlo. Preparar un reembolso no equivale a autorizarlo.
Antes de conceder permisos
El usuario debe revisar qué cuentas solicita conectar el agente. Una función sencilla no justifica acceso completo al correo, contactos y almacenamiento.
Siempre que sea posible, conviene elegir permisos de sólo lectura. Las autorizaciones para enviar, borrar, transferir o publicar requieren mayor cuidado.
En pagos, deben utilizarse límites, alertas y confirmaciones adicionales. Una tarjeta virtual o un monto máximo puede reducir el impacto de una operación equivocada.
También conviene revisar periódicamente las aplicaciones conectadas. Los permisos deben revocarse cuando el servicio deja de utilizarse.
No deben entregarse documentos sensibles sin conocer las políticas de privacidad. Esto incluye identificaciones, expedientes médicos, contratos y estados de cuenta.
Si ocurre un error, hay que conservar capturas, comprobantes, correos y folios. Esas pruebas permiten reconstruir la operación y exigir una solución.
Agente seguro no significa agente libre
La seguridad en IA agéntica no busca impedir la automatización. Su objetivo consiste en evitar que la autonomía se convierta en autoridad ilimitada.
El mejor agente no es el que puede hacerlo todo. Es aquel cuyo propósito, propietario, identidad, permisos y mecanismo de detención resultan claros.
La supervisión también debe ocurrir durante la operación. Una revisión inicial no basta si el comportamiento puede cambiar con nuevos datos o herramientas.
La respuesta a la pregunta del título es, por tanto, colectiva. Vigilan los controles técnicos, los responsables humanos, la organización y las autoridades.
Sin embargo, la responsabilidad final no debe diluirse entre plataformas. Cuando una decisión afecta al usuario, siempre debe existir una persona o empresa capaz de responder.