La inteligencia artificial avanza. La responsabilidad sigue siendo nuestra

Mon, 14 Sep 2026 00:00:00 +0000

El 8 de septiembre, Jacob Coxon anunció su salida de Anthropic tras haber trabajado también en OpenAI. Su advertencia vinculaba la carrera hacia sistemas más avanzados con riesgos para la humanidad antes de terminar la década.¹

No creo que debamos trivializar estas alertas. Pero tampoco confundir una advertencia con un calendario demostrado de nuestra extinción.

Mi preocupación es que el debate termine atrapado entre dos posiciones igualmente insuficientes: detenerlo todo o continuar como si nada pudiera salir mal.

Creo que necesitamos una tercera conversación. No solo sobre hasta dónde puede llegar la inteligencia artificial, sino sobre hasta dónde estamos dispuestos a dejarla actuar.

El mundo no termina en Silicon Valley
#

Una pausa occidental no sería, por sí sola, una pausa mundial.

China no es un espectador a la espera de lo que decidan las empresas estadounidenses. Familias como Qwen forman parte del ecosistema de modelos con pesos disponibles para descarga y despliegue.² No hace falta atribuirles un primer puesto absoluto —que exigiría especificar la métrica y la fecha— para reconocer que una estrategia centrada exclusivamente en unos pocos laboratorios estadounidenses deja fuera actores relevantes.

Tampoco sería justo afirmar que la preocupación por la seguridad es exclusivamente occidental. Científicos chinos han participado en los diálogos internacionales sobre riesgos extremos de IA, incluidos los celebrados en Pekín y Shanghái.³ La línea divisoria no separa simplemente a un Occidente preocupado de una China indiferente.

Mi argumento es otro: no considero realista basar nuestra seguridad en que todos los competidores, gobiernos y desarrolladores decidan detenerse al mismo tiempo y mantengan indefinidamente ese acuerdo.

Eso no convierte la regulación en inútil. Los gobiernos deben intervenir, exigir garantías y cooperar. Pero gobernar el desarrollo no es lo mismo que disponer de un interruptor mundial.

Y reconocer los límites de una moratoria unilateral no puede convertirse en una excusa para desplegar cualquier cosa. La competencia no elimina la responsabilidad.

Capacidad no es autoridad
#

Que una IA pueda tomar una decisión no significa que debamos concederle el derecho a tomarla.

Esta distinción debería estar en el centro del debate.

Imaginemos una IA que prepara una transferencia. Podemos autorizarla a proponerla, a ejecutarla dentro de límites concretos o a operar sin aprobación. El modelo puede ser el mismo; la autoridad concedida es muy distinta.

Lo mismo ocurre con un agente que modifica software. Sugerir un cambio, probarlo en un entorno aislado y desplegarlo directamente en producción son tres decisiones de gobierno diferentes.

No deberíamos presentar esa escalera como una progresión obligatoria. Más capacidad no tiene por qué significar más autonomía en todos los contextos.

La sociedad debe decidir qué delega. Pero responsabilidad compartida no significa responsabilidad idéntica: quien diseña, comercializa, integra o autoriza un sistema tiene obligaciones proporcionales al poder que ejerce. El ciudadano no puede cargar con aquello que no puede observar ni controlar.

Autonomía revocable
#

Propongo un principio sencillo: la autonomía concedida a una IA debe ser limitada, verificable y revocable.

Eso exige fusibles. No una frase dentro de un prompt que diga «detente si algo va mal», sino mecanismos que permitan impedir nuevas acciones sin depender de que el modelo obedezca.

Mi propuesta es diseñarlos en varias capas:

Permisos mínimos y temporales. El agente recibe los accesos necesarios para la tarea, no una autoridad general que pueda ampliar por iniciativa propia.
Controles antes de ejecutar. Una pasarela independiente comprueba recursos, límites y autorizaciones antes de permitir operaciones sensibles.
Suspensión efectiva. La organización puede revocar credenciales, aislar conexiones y cancelar trabajos pendientes, incluidas las tareas delegadas a otros agentes.
Continuidad operativa. Existe una alternativa probada para mantener el servicio en un estado seguro cuando el agente deja de operar.

No es una promesa de revertir cualquier daño. Detener un sistema no recupera automáticamente datos filtrados ni deshace decisiones irreversibles. Por eso importa intervenir antes de la acción, no solo investigar después.

El NIST ya contempla mecanismos de desactivación y alternativas de contingencia en su marco de gestión del riesgo.⁴ Mi propuesta es convertir esa capacidad de retirada en una condición explícita para conceder autonomía en tareas críticas.

Si una institución ya no sabe funcionar sin su IA, su capacidad de desconectarla puede ser más teórica que real.

¿Necesitamos una policía de la IA?
#

Creo que parte de la supervisión debería poder realizarla otra IA: modelos especializados en vigilar a los agentes que ejecutan tareas críticas y detectar cuándo actúan fuera de su mandato.

La investigación en AI control ya estudia modelos supervisores, incluidos modelos menos capaces pero considerados más fiables que el ejecutor.⁵ Eso no demuestra que exista una policía infalible. Sí ofrece un punto de partida técnico para discutirla.

La arquitectura que propongo separa tres funciones: una IA ejecuta, otra supervisa y un mecanismo independiente aplica los límites.

El supervisor observaría las operaciones previstas y sus resultados. Podría señalar anomalías, solicitar revisión o activar una suspensión predefinida. Pero no debería asumir la tarea del agente vigilado, concederse nuevos permisos ni modificar las reglas de control.

Su mandato estricto tendría que estar inscrito en sus accesos y en su interfaz, no solamente en sus instrucciones. Poder de veto acotado, no autoridad general.

Y no hablaría de «rebeldía» como si necesitáramos demostrar una intención. Para bloquear una operación basta con que vulnere el mandato autorizado, aunque la causa sea un error, una instrucción maliciosa o una mala interpretación.

El vigilante también necesita límites
#

La pregunta inevitable es quién vigila al vigilante.

No resolvería el problema añadiendo una cadena infinita de supervisores. Lo cerraría con separación de funciones, controles externos a los modelos, registros protegidos y responsables humanos identificables.

La investigación SLEIGHT-Bench de Anthropic documenta puntos ciegos en monitores de IA y presenta la supervisión como una capa de defensa, no como una solución autosuficiente.⁶ Conviene recordar esa limitación antes de confundir vigilancia automatizada con seguridad garantizada.

Propondría probar estos sistemas mediante simulacros: intentos de eludir los controles, fallos del supervisor y activaciones injustificadas. Una policía que no detecta infracciones falla; una que paraliza constantemente el servicio también.

En un entorno crítico, apagar no siempre debería significar cortar todo de golpe. El objetivo tendría que ser alcanzar un estado seguro, con un procedimiento definido para intervenir y reanudar la operación.

Esta policía tampoco sería un permiso para perseguir modelos ajenos por internet. Su jurisdicción serían los sistemas que una organización está autorizada a supervisar. Y sus facultades deberían poder auditarse y revocarse.

El progreso no exige renunciar al control
#

No presento estos fusibles como una respuesta completa al riesgo existencial. Tampoco sustituyen la investigación en seguridad, la cooperación internacional o las obligaciones de los desarrolladores.

Los planteo como algo que deberíamos exigir incluso sin estar de acuerdo sobre la probabilidad de una catástrofe: capacidad efectiva de limitar y retirar la autoridad concedida.

No creo que ningún gobierno pueda garantizar por sí solo el fin de la evolución mundial de la IA. Sí creo que cada institución debe responder por cómo la incorpora, qué le permite hacer y cómo interviene cuando se desvía.

Podemos delegar tareas. Podemos utilizar IA para ayudarnos a supervisar otras IA. Lo que no debemos delegar es la responsabilidad de establecer los límites.

El progreso de la inteligencia artificial no debe confundirse con nuestra renuncia a decidir.

Fuentes y contexto
#

Associated Press, Kaitlyn Huamani, «Anthropic researcher resigns with warning about the dangers of AI development», 9 de septiembre de 2026. Declaraciones atribuidas a Coxon; no constituyen una predicción consensuada. https://apnews.com/article/2ed549e07f2f941600a135070487d83d ↩︎
Qwen, repositorio oficial de la organización en Hugging Face. Se utiliza como evidencia de disponibilidad de modelos, no como clasificación global de potencia o popularidad. https://huggingface.co/Qwen ↩︎
International Dialogues on AI Safety, encuentros y declaraciones de Pekín (2024) y Shanghái (2025). https://idais.ai/dialogues/ ↩︎
NIST, AI Risk Management Framework Playbook, sección Manage. https://airc.nist.gov/airmf-resources/playbook/manage/ ↩︎
Anthropic, «Recommendations for Technical AI Safety Research Directions», sección AI control y trusted monitoring, 2025. https://red.anthropic.com/2025/recommended-directions/ ↩︎
Najt et al., «SLEIGHT-Bench: Finding Blind Spots in AI Monitors», 19 de mayo de 2026. https://alignment.anthropic.com/2026/sleight-bench/ ↩︎

TransformaciónDigital on Carles Abarca

La inteligencia artificial avanza. La responsabilidad sigue siendo nuestra

El mundo no termina en Silicon Valley #

Capacidad no es autoridad #

Autonomía revocable #

¿Necesitamos una policía de la IA? #

El vigilante también necesita límites #

El progreso no exige renunciar al control #