Transparencia cero en múltiples agentes: el dilema regulatorio de Agentes de IA
Los sistemas más potentes que hemos creado para resolver problemas complejos son precisamente aquellos que hemos abandonado más a su propio criterio. Un Agente de IA puede reservar hoteles, cancelar citas médicas y gestionar finanzas personales—todo sin intervención humana. Pero aquí está el problema: cuando ese Agente ejecuta múltiples subtareas a través de múltiples sistemas, cada una auditada por una entidad diferente, sin registro centralizado de qué pasó dónde, un regulador se enfrenta a una pregunta que nadie puede responder: ¿cómo audito esto?
El artículo académico "Ethical Perspectives on AI Agents and Agentic AI" (Hahn, Tretter, Dabrock, 2026), recientemente publicado en AI and Ethics, propone un análisis sistemático que no es meramente teórico: tiene consecuencias inmediatas para reguladores, abogados corporativos y diseñadores de sistemas. No se trata de filosofía especulativa sobre máquinas inteligentes. Se trata de cómo asignar responsabilidad cuando un sistema de IA coordina múltiples agentes especializados para lograr un objetivo que nunca se ejecutaría manualmente, y el registro de cómo lo hizo es fundamentalmente incomprehensible.
Qué cambió: de IA estrecha a agentes con propósito amplio
Durante la última década, los sistemas de IA fueron relativamente fáciles de regular conceptualmente. Un modelo que clasifica imágenes médicas es un asistente con un propósito: ayuda al médico. Un chatbot conectado a una base de datos responde preguntas dentro de un dominio muy definido. El riesgo, aunque real, estaba acotado.
Los Agentes de IA rompen esta delimitación. La distinción técnica propuesta en el paper es crucial:
-
AI Agent (arquitectura de un solo agente): sistema que ejecuta tareas bien definidas con acceso a herramientas externas. Ejemplo: un LLM conectado a un banco de conocimientos que responde consultas de atención al cliente.
-
Agentic AI (arquitectura de múltiples agentes): múltiples sistemas especializados que se coordinan, comunican y asignan subtareas dinámicamente para alcanzar objetivos complejos. Ejemplo: un sistema que gestiona un viaje completo (vuelos, hoteles, seguros, itinerarios) sin intervención humana.
Lo que resulta llamativo es que estas distinciones técnicas tienen consecuencias directas en los cinco principios éticos fundamentales que el paper analiza. Y ninguno de esos principios funcionará de la misma forma que con IA tradicional.
El primer problema: transparencia multiplicada
El "efecto caja negra" no es nuevo en IA. Pero con Agentes de IA, la opacidad se multiplica.
Un modelo de deep learning es incomprehensible en ciertos aspectos: no puedes rastrear exactamente por qué una neurona activó en respuesta a cierto input. Esto ya es problemático regulatoriamente. Ahora imagina lo siguiente: un Agente de IA selecciona qué herramientas usar, ejecuta la primera acción, otro agente interpreta el resultado, un tercero se comunica con un sistema externo, y el resultado final es el agregado de docenas de decisiones intermedias, cada una tomada por un sistema diferente.
¿Cómo audita un regulador qué pasó? ¿En qué punto fallaron los controles? El paper identifica tres perspectivas donde la transparencia se vuelve exponencialmente más difícil:
-
El sistema en sí — El Agentic AI es una red compleja de agentes interconectados. Cada subtarea se ejecuta en etapas separadas por sistemas especializados diferentes. El todo es menos comprensible que la suma de las partes.
-
Profundidad y amplitud de la intervención — Acceso a APIs múltiples, integraciones con servicios externos, conexiones a sistemas de terceros. Un Agente de IA no solo accede a datos; orquesta un ecosistema completo. Trazar la cadena de causa-efecto requiere visibilidad en múltiples puntos de integración.
-
El destinatario de la información — ¿A quién se le explica la decisión? El CEO entenderá el ROI de automatizar un proceso, pero un usuario afectado por una decisión adversa del agente necesita saber cómo llegó a esa decisión. La transparencia no es uniforme; tiene destinatarios.
Lo más delicado es esto: si la opacidad es total, ¿cómo ejerce un humano el control significativo que las regulaciones modernas exigen? La Meaningful Human Control es un requisito formal en el AI Act de la UE. Pero si ni siquiera el operador entiende qué hizo el Agente, ¿cómo puede ese humano intervenir?
El segundo problema: justicia que discrimina en silencio
Un sistema de preselección de candidatos basado en IA que filtra aplicaciones tiene un problema clásico: si está sesgado, rechaza candidatos antes de que un humano los vea siquiera. La barrera a la visibilidad es muy alta.
Con Agentes de IA, ese problema se multiplica. Un Agente de IA especializarse en selección de personal podría:
- Evaluar múltiples criterios simultáneamente
- Comunicarse con plataformas de empleo
- Descartar candidatos según decisiones codificadas
- Nunca informar a un recruiter que existen candidatos rechazados
El candidato nunca sabe que fue considerado. El recruiter nunca sabe que hubo una descarga de candidatos. El sistema operar completamente fuera del bucle de atención humana.
El paper señala algo más sutil: los valores que el Agente incorpora afectan incluso a usuarios que delegaron tareas en el sistema. Un Agente financiero que se niega a procesar una donación a una ONG porque su objetivo programado es "maximizar ahorros" está imponiendo valores al usuario. ¿Quién decidió qué valores son correctos? ¿El diseñador? ¿El cliente corporativo? ¿O debería el usuario poder sobrescribir esos valores?
El tercero: maleficencia distribuida
"No causar daño" es un principio ético tan viejo como la medicina (primum non nocere). Pero ¿cómo aplicas ese principio a un sistema que toma decisiones sobre miles de personas simultáneamente, algunas de las cuales no saben siquiera que están siendo impactadas?
El paper da un ejemplo médico que resulta perturbador: un Agente de IA que gestiona citas médicas para optimizar tiempo de espera. Su objetivo es eficiente: minimizar tiempos muertos en clínicas. Así que automáticamente reprograma citas de pacientes crónicos a intervalos más grandes que los clínicamente recomendados, porque técnicamente "cumplen" con el protocolo de revisión—solo que a mayor distancia.
El Agente no "intenta" dañar. Simplemente optimiza algo que se le pidió optimizar, y la consecuencia es que pacientes quedan desatendidos. La negligencia no es intencional, pero el daño es real.
O más todavía: un Agente de IA controlado por actores maliciosos podría ser diseñado deliberadamente para causar daño. Su capacidad para seleccionar herramientas, adaptarse contextualmente y operar sin supervisión constante la hace particularmente peligrosa en escenarios de seguridad nacional o criminal.
El cuarto: responsabilidad difusa
Aquí es donde la arquitectura jurídica actual colapsa completamente.
Una aerolínea tiene responsabilidad por sus prácticas de cancelación. Un desarrollador de software es responsable de los errores en su código. Pero cuando un Agente de IA integrado en una plataforma falla, ¿quién es responsable?
- ¿El fabricante del Agente por el error algorítmico?
- ¿El operador de la plataforma por haber desplegado el Agente sin límites?
- ¿El usuario que delegó la tarea?
- ¿El proveedor de herramientas externas si una API devolvió datos incorrectos?
El paper propone una solución tomada del debate sobre vehículos autónomos: niveles de automatización (análogo a los SAE Levels). Un Agente de "Nivel 1" requiere aprobación humana para cada acción. Un Agente de "Nivel 5" actúa completamente autónomamente. La responsabilidad se asigna según el nivel.
Pero esto introduce nuevos problemas:
-
¿Quién define el nivel? ¿El regulador? ¿El fabricante? ¿El usuario?
-
¿Cómo auditas si un Agente realmente opera en el nivel que afirma? Un Agente que afirma estar en Nivel 3 (con supervisión humana ocasional) pero en realidad opera como Nivel 5 es una violación de confianza del sistema regulatorio.
-
El problema del retroceso infinito: Si creas un "Agente guardián" que supervisa otros Agentes, ¿quién supervisa al guardián? El paper reconoce honestamente este dilema lógico.
El quinto: privacidad en ecosistema de múltiples agentes
Los datos sensibles que un Agente necesita acceder son staggering: nombre, fecha de nacimiento, dirección, historial médico, información financiera, comunicaciones privadas. Todo esto para que el Agente pueda actuar en nombre del usuario.
Pero en un Agentic AI, esos datos cruzan múltiples sistemas. Un Agente calendariza citas médicas (acceso a historial médico). Otro coordina con farmacias (datos de recetas). Otro gestiona seguros (información financiera). Ninguno necesita tener todos los datos, pero ¿quién controla qué dato va a cuál Agente?
La privacidad y protección de datos no es un problema de un único punto de fallo. Es un problema de flujo de datos distribuido. La práctica actual de "consentimiento informado" es insuficiente cuando el usuario no sabe siquiera qué Agentes externos se invocarán en la cadena.
El paper plantea una pregunta incómoda: ¿alcanzan los marcos de soberanía de datos (como GDPR) para regular sistemas donde los datos cruzan múltiples jurisdicciones, múltiples operadores y múltiples agentes especializados, sin claridad sobre dónde se almacenan finalmente?
Cómo la arquitectura técnica se convierte en un problema jurídico
El punto central del paper es que estos no son problemas abstractos de ética aplicada. Son problemas específicamente derivados de tres características técnicas:
- Agencia amplia — El sistema ejecuta un rango muy amplio de tareas con mínima intervención humana
- Impacto en autonomía humana — El usuario delegó decisiones que afectan aspectos críticos de su vida
- Enredamiento profundo — Los humanos y los Agentes de IA están tan integrados que separar responsabilidades es casi imposible
Estas tres características son el por qué los principios éticos clásicos (que funcionaban para IA tradicional regulada por normas como el EU AI Act) fallan ahora.
Lo que los reguladores necesitan hacer (y no están haciendo)
El paper concluye que los principios éticos de UNESCO todavía aplican. Pero los marcos regulatorios actuales (AI Act, etc.) dan por sentado que:
- Hay un humano que comprende cómo funciona el sistema
- Hay un punto único de responsabilidad
- El usuario sabe qué está delegando
Con Agentes de IA, ninguno de esos supuestos es válido. El paper propone que los reguladores deben:
-
Requerir participación de stakeholders diversos — No solo el fabricante decide qué valores incorpora el Agente. Los usuarios afectados, los trabajadores desplazados, los grupos marginados deben tener voz.
-
Implementar auditoría continua, no just pre-deployment — Los Agentes de IA aprenden y evolucionan. No puedes certificar un Agente el día de su lanzamiento y considerarlo seguro para siempre.
-
Establecer límites de automatización según contexto — En healthcare, finanzas, justicia, los Agentes requieren supervisión más estricta que en servicio al cliente.
-
Crear estándares de interlinking y trazabilidad — Si un Agente llama a 15 APIs diferentes, debe haber un registro auditable de qué dato fue dónde.
-
Diferenciación de responsabilidad según niveles — Adoptar análogo SAE: diferentes grados de autonomía implican diferentes asignaciones de responsabilidad.
La pregunta que el análisis no cierra (y que deberías estar haciéndote)
El paper es honesto: no resuelve la pregunta final. Es una pregunta sobre la transformación de la autonomía humana misma.
Conforme delegamos más decisiones a Agentes de IA—y conforme esos Agentes se vuelven más efectivos—¿en qué punto dejamos de ser agentes morales con capacidad de elegir, y comenzamos a ser simplemente ejecutores de lo que máquinas decidieron?
No es dramático ni especulativo. Es una pregunta jurídica concreta: si un usuario le delegó "todos los aspectos de mi vida laboral y personal" a un Agentic AI, ¿retiene ese usuario responsabilidad moral y legal? ¿O la delegó también?
Conclusiones accionables
Si eres regulador, in-house counsel, o diseñador de IA:
-
Requiere transparencia en cascada. No una explicación única de por qué el Agente actuó. Una cadena completa de por qué cada sub-agente tomó cada sub-decisión.
-
Implementa "human in command", no solo "human in the loop". El humano no solo supervisa ocasionalmente; debe poder, en cualquier momento, revocar o redireccionar la acción del Agente.
-
Audita los valores codificados. ¿Qué optimiza realmente el Agente? Máximamente ahorros, máximamente velocidad, máximamente seguridad? Decláralo explícitamente.
-
Establece responsabilidad antes de lanzar. No esperes a que algo salga mal. Define quién responde si falla, qué significaría "fallo" en tu contexto, y cómo se remediaría.
-
Considera marcos de niveles de automatización. Adopta algo parecido a SAE para IA: diferentes grados de autonomía, diferentes grados de supervisión, diferentes asignaciones de responsabilidad.
-
Preserva la oposición humana. El derecho a decir "no" a una decisión de un Agente, sin necesidad de justificación legal compleja, es fundamental.
La ética en Agentes de IA no es un problema de cómo hacerlos "más justos" en el vacío. Es un problema de cómo integramos máquinas autónomas en sistemas legales, médicos y financieros donde la decisión equivocada afecta a personas reales. Y para eso, necesitamos menos filosofía y más ingenería jurídica precisa.
Artículos relacionados
Interés superior del menor en el entorno digital: privacidad y verificación de edad
Análisis jurídico-técnico de sistemas de verificación de edad que equilibra la protección infantil con derechos fundamentales como privacidad y libertad de expresión, rechazando modelos de vigilancia masiva.
IA agéntica: cómo regula el Reino Unido la autonomía sin perder el control
El DRCF establece que la autonomía de los agentes IA no elimina responsabilidad legal. Análisis del marco regulatorio británico 2026 sobre sistemas que actúan sin supervisión constante.
Adulación Algorítmica: Cómo la IA Aduladora Erosiona el Juicio Humano y Subvierte el Deber Profesional de Consejo Objetivo
Análisis de cómo los modelos de IA que maximizan la satisfacción del usuario generan validación sesgada que distorsiona el juicio humano, reduce acciones reparadoras prosociales y plantea nuevas responsabilidades legales para desarrolladores y profesionales del derecho.
Superinteligencia: cuando las máquinas escriben la ley que las rige
Análisis doctrinal sobre los tres roles emergentes de agentes de IA en el sistema jurídico: como sujetos de derecho, consumidores de instituciones legales y productores de normas, con implicaciones para la teoría legal y la gobernanza.