Las compañías de inteligencia artificial más poderosas de Estados Unidos acordaron con el gobierno de Donald Trump adoptar controles voluntarios para supervisar la seguridad de sus propios sistemas. El pacto contempla evaluaciones internas, auditorías externas y revisión de los resultados por parte de sus consejos de administración, pero no establece obligaciones legales ni sanciones públicas en caso de incumplimiento.
El acuerdo llega cuando incluso algunas de las voces más relevantes de la industria advierten que el desarrollo de la IA está avanzando más rápido que las medidas diseñadas para controlarlo. Mientras Trump sostiene que las empresas tienen incentivos suficientes para vigilarse entre sí, Bill Gates acaba de afirmar que la autorregulación no es suficiente y Dario Amodei, CEO de Anthropic, ha defendido una regulación que alcance incluso a las compañías que no quieran participar voluntariamente.
¿Qué acordaron las compañías de IA con Trump?
El 29 de septiembre, Trump reunió en la Casa Blanca a líderes de algunas de las principales compañías tecnológicas y de IA, entre ellos Mark Zuckerberg, Dario Amodei, Jensen Huang, Greg Brockman, Sundar Pichai y Elon Musk. El resultado fue un acuerdo de una página presentado como un compromiso voluntario para establecer controles de seguridad sobre los sistemas de IA más avanzados.
Trump describió el documento como una especie de “constitución” y, ante la pregunta de si sería vinculante, respondió que consideraba que era “moralmente vinculante”. La diferencia no es menor: el acuerdo no crea una obligación jurídica equivalente a una ley o regulación federal.
Las empresas se comprometieron a implementar cuatro niveles de controles y auditorías:
- Evaluaciones internas de sus sistemas y procesos.
- Auditorías externas independientes para revisar su funcionamiento.
- Revisión por parte de los consejos de administración de los resultados de esas auditorías.
- Colaboración entre compañías para establecer estándares y mejores prácticas de seguridad.
El propio documento contempla que, con el tiempo, algunas de estas medidas podrían incorporarse a leyes o regulaciones. Sin embargo, mientras eso no ocurra, su aplicación depende de la voluntad de las compañías participantes.
Trump también dijo que los líderes tecnológicos discutieron la creación de un comité de 10 personas para supervisar a las empresas y anunció que pretende nombrar a un “zar de la IA” en los siguientes días.
¿Por qué Trump considera suficiente la autorregulación?
La posición de Trump parte de una prioridad política y económica clara: Estados Unidos debe mantener el liderazgo en inteligencia artificial y evitar que una regulación considerada demasiado restrictiva reduzca el ritmo de innovación frente a China.
El presidente ha argumentado que una desaceleración estadounidense permitiría a la industria tecnológica china ganar terreno. Por eso, en lugar de respaldar una regulación federal más estricta, ha apostado por revisiones de seguridad voluntarias.
Su argumento para confiar en la industria es que las propias compañías tienen demasiado que perder si sus sistemas provocan daños. Durante el encuentro, Trump sostuvo que “el futuro de sus empresas está en juego” y que existe un incentivo para que se controlen tanto individualmente como entre ellas.
El problema de gobernanza aparece precisamente en ese supuesto: que tener un interés económico en evitar un desastre equivale a tener un mecanismo independiente para prevenirlo.
No son necesariamente lo mismo.
¿Qué riesgos están impulsando las llamadas a regular la IA?
El acuerdo de la Casa Blanca no surge en el vacío. Durante los últimos meses han aumentado las advertencias de investigadores, exempleados y ejecutivos sobre los riesgos asociados con sistemas cada vez más capaces.
Jacob Coxon, antiguo investigador de Anthropic y OpenAI, ha advertido públicamente sobre la posibilidad de que la IA avance hacia sistemas capaces de mejorar sus propias capacidades y adquirir un grado de autonomía que resulte difícil de controlar. Sus declaraciones fueron particularmente contundentes al advertir sobre riesgos existenciales hacia finales de esta década.
Pero las preocupaciones no proceden únicamente de antiguos empleados.
Anthropic y OpenAI también han reconocido riesgos asociados con sistemas avanzados. En su reciente ensayo, Amodei sostuvo que el ritmo de desarrollo debe acompasarse con la capacidad de implementar medidas de seguridad y propuso que las empresas trabajen con evaluadores externos con acceso continuo a sus procesos.
Su propuesta es especialmente relevante porque no plantea simplemente que las compañías “prometan” comportarse mejor. Amodei propone evaluadores externos integrados de manera permanente para verificar el cumplimiento de compromisos de seguridad, reportar incidentes y evaluar no solo los modelos terminados, sino también los procesos mediante los cuales se entrenan.
Además, el CEO de Anthropic sostiene que la forma más eficaz de establecer límites sería mediante una regulación que abarque a todas las compañías estadounidenses que desarrollan IA de frontera, incluyendo aquellas que no quieran cooperar voluntariamente.
Es decir, incluso desde una de las compañías que participa en el acuerdo con Trump aparece una distinción importante: la autorregulación puede complementar la regulación, pero no necesariamente sustituirla.
¿Qué dice Bill Gates sobre la autorregulación de la IA?
La contradicción es aún más evidente tras las declaraciones que Gates hizo la semana pasada.
Bill Gates afirmó que “nadie cree que la autorregulación sea suficiente” y respaldó explícitamente la aprobación de legislación en Washington. Según Gates, las fuerzas del orden y los responsables políticos deben participar en la definición de las medidas de seguridad y los mecanismos de supervisión, y esas medidas deben ser obligatorias.
Su argumento tampoco se limita al escenario extremo de una IA fuera de control. Gates señaló que los sistemas actuales ya podrían ser utilizados por personas con malas intenciones para provocar daños a gran escala.
Por ello, la discusión no es únicamente qué ocurrirá si algún día aparece una superinteligencia capaz de superar ampliamente las capacidades humanas. También está en juego quién responde cuando los sistemas existentes son utilizados para ataques, fraude, ciberseguridad, manipulación o daños sobre infraestructuras y personas.
¿Qué quieren decir Amodei y Altman sobre la supervisión?
Las posiciones dentro de la industria tampoco son homogéneas.
Amodei ha planteado una combinación de controles técnicos, evaluadores externos, coordinación entre empresas democráticas y cooperación internacional. Su argumento es que una carrera impulsada por incentivos comerciales puede aumentar los riesgos si cada compañía tiene razones para desarrollar capacidades más rápidamente que sus competidores.
Sam Altman, por su parte, pidió ante Naciones Unidas estándares internacionales para medir las capacidades de los sistemas, evaluar riesgos, determinar si las salvaguardas son suficientes y mantener una supervisión humana significativa.
Mark Zuckerberg ha adoptado una posición diferente: considera que no necesariamente se requiere una coordinación de toda la industria y que cada laboratorio debe detenerse cuando encuentre problemas y dedicar tiempo a resolverlos internamente.
Estas diferencias son importantes porque muestran que el sector no tiene siquiera una única definición sobre cuánto control es necesario, quién debe ejercerlo y hasta dónde debe llegar.
¿Por qué la autorregulación plantea un problema de gobernanza?
Para los líderes ESG, el punto central no debería ser únicamente si las compañías de IA son capaces de diseñar buenos controles. La pregunta es quién tiene la autoridad para verificar que esos controles funcionan y qué ocurre cuando no funcionan.
Ahí aparece una de las principales debilidades del acuerdo.
Una empresa puede auditarse internamente, establecer comités, contratar revisores externos y reportar incidentes. Todo ello puede mejorar su gobernanza. Pero si las reglas, los umbrales de riesgo, las consecuencias por incumplimiento y los criterios para determinar cuándo un sistema no debe salir al mercado dependen finalmente de la propia compañía, persiste un conflicto de interés estructural.
Una empresa de IA tiene simultáneamente dos objetivos: desarrollar y comercializar sistemas cada vez más capaces y garantizar que esos sistemas sean seguros. Cuando ambas metas entran en tensión, la existencia de un mecanismo externo con capacidad para exigir información, imponer estándares y establecer consecuencias adquiere relevancia.
Por eso, autorregularse no equivale a estar regulado.
Y tampoco significa necesariamente que una auditoría sea independiente solo porque quien la realiza sea externo. Para que un mecanismo de aseguramiento tenga valor, los criterios de evaluación, el acceso a información, la independencia del auditor, la publicación de resultados y las consecuencias ante incumplimientos deben estar suficientemente definidos.
¿Qué se debería aprender de este caso?
La discusión sobre IA expone un principio de gobernanza que las empresas ya conocen en otros ámbitos: no basta con declarar que un riesgo es importante; hay que construir mecanismos capaces de desafiar a quienes toman las decisiones sobre ese riesgo.
Para los líderes ESG, el caso plantea al menos cinco preguntas concretas:
- ¿Quién define el umbral de riesgo? Si la empresa establece unilateralmente qué considera aceptable, existe margen para que los criterios respondan a sus propios incentivos.
- ¿Quién verifica la información? Una auditoría externa debe contar con independencia, acceso suficiente a los datos y criterios verificables.
- ¿Qué ocurre cuando existe incumplimiento? Sin consecuencias claras, un estándar voluntario puede convertirse en un compromiso reputacional más que en un mecanismo de control.
- ¿Qué información llega al consejo? La supervisión corporativa solo funciona si los órganos de gobierno reciben información completa y pueden cuestionar decisiones estratégicas.
- ¿Quién representa al interés público? Los accionistas, clientes y empleados son grupos relevantes, pero los riesgos de determinados sistemas de IA también pueden afectar a personas que no tienen relación contractual con la compañía.
El propio Amodei apunta en esa dirección al defender evaluadores externos permanentes y regulación federal. Su propuesta reconoce que las medidas voluntarias pueden avanzar más rápido que las leyes, pero también que una regulación común es necesaria para alcanzar a las compañías que no quieran cooperar.
Autorregular a la IA no resuelve el problema de quién vigila al vigilante
El acuerdo impulsado por Trump puede servir como un punto de partida para que las empresas adopten controles que antes no tenían o los hagan más consistentes. También puede generar estándares comunes y presionar a compañías rivales para adoptar prácticas similares.
Pero convertir ese mecanismo en el principal sistema de supervisión de una tecnología con riesgos potencialmente sistémicos deja una pregunta sin responder: ¿qué sucede cuando el interés de la compañía y el interés público dejan de coincidir?
Ese es precisamente el límite de la autorregulación.
En ESG, la gobernanza existe para crear contrapesos, no para confiar exclusivamente en que quienes tienen poder ejercerán ese poder de manera correcta. Por eso existen consejos independientes, auditorías, reguladores, obligaciones de transparencia, mecanismos de denuncia y sanciones. La lógica es sencilla: cuando una decisión puede producir impactos que exceden a la organización, el control no puede depender únicamente de la voluntad de quien toma la decisión.
La IA lleva ese principio a un terreno todavía más complejo. Las propias compañías reconocen que sus sistemas avanzan rápidamente, que pueden surgir comportamientos inesperados y que algunos riesgos pueden tener consecuencias que trascienden a una sola empresa.
Por eso, el debate no debería reducirse a regulación versus innovación. La pregunta de gobernanza es otra: qué combinación de innovación, controles internos, auditorías independientes, transparencia, supervisión pública y responsabilidad legal permite que las compañías desarrollen IA sin ser, al mismo tiempo, juez y parte de los riesgos que generan.
El acuerdo de Trump responde parcialmente a la necesidad de controles. Pero mientras esos controles sigan siendo voluntarios y las propias compañías conserven la decisión final sobre sus límites, la discusión sobre quién regula a quienes están construyendo la IA seguirá abierta.
