Los sistemas de armas autónomas —conocidos comúnmente como robots asesinos— podrían haber matado a seres humanos por primera vez el año pasado, según un reciente informe del Consejo de Seguridad de las Naciones Unidas sobre la guerra civil libia. La historia bien podría identificar esto como el punto de partida de la próxima gran carrera armamentística, una que tiene el potencial de ser la definitiva de la humanidad.

De acuerdo con The Conversation, la Convención de las Naciones Unidas sobre Ciertas Armas Convencionales debatió la cuestión de la prohibición de las armas autónomas en su reunión de revisión de cada cinco años, celebrada en Ginebra del 13 al 17 de diciembre de 2021, pero no llegó a un consenso sobre la prohibición.

Establecida en 1983, la convención se ha actualizado periódicamente para restringir algunas de las armas convencionales más crueles del mundo, como las minas terrestres, las trampas explosivas y las armas incendiarias.

Los sistemas de armas autónomas son robots con armas letales que pueden operar de forma independiente, seleccionando y atacando objetivos sin que un humano intervenga en esas decisiones. Los ejércitos de todo el mundo están invirtiendo mucho en la investigación y el desarrollo de armas autónomas. Sólo Estados Unidos ha presupuestado 18,000 millones de dólares para armas autónomas entre 2016 y 2020.

Mientras tanto, las organizaciones humanitarias y de derechos humanos se apresuran a establecer regulaciones y prohibiciones sobre el desarrollo de este tipo de armas. Sin estos controles, los expertos en política exterior advierten:

Las tecnologías disruptivas de armas autónomas desestabilizarán peligrosamente las estrategias nucleares actuales, tanto porque podrían cambiar radicalmente la percepción del dominio estratégico, aumentando el riesgo de ataques preventivos porque podrían combinarse con las propias armas químicas, biológicas, radiológicas y nucleares.

No obstante, las armas autónomas hacen que los precarios equilibrios y las fragmentadas salvaguardias del mundo nuclear —por ejemplo, la autoridad mínimamente limitada del presidente de EE.UU. para lanzar un ataque— sean más inestables y estén más fragmentados. Dado el ritmo de investigación y desarrollo de las armas autónomas, la reunión de la ONU podría haber sido la última oportunidad para evitar una carrera armamentística.

Errores letales y cajas negras: Robots asesinos

Hay cuatro peligros principales en las armas autónomas. El primero es el problema de la identificación errónea. Al seleccionar un objetivo, ¿podrán las armas autónomas distinguir entre soldados hostiles y niños de 12 años que juegan con pistolas de juguete? ¿Entre los civiles que huyen de un lugar de conflicto y los insurgentes que hacen una retirada táctica?

El problema no es que las máquinas cometan errores y los humanos no. Es que la diferencia entre el error humano y el error algorítmico es como la diferencia entre enviar una carta y tuitear.

La escala, el alcance y la velocidad de los sistemas robóticos asesinos —dirigidos por un algoritmo de selección de objetivos, desplegados en todo un continente— podrían hacer que los errores de identificación cometidos por humanos individuales, como el reciente ataque de un avión no tripulado estadounidense en Afganistán, parezcan meros errores de redondeo en comparación.

El experto en armas autónomas Paul Scharre, utiliza la metáfora de la pistola desbocada para explicar la diferencia. Una pistola fuera de control es una ametralladora defectuosa que sigue disparando después de soltar el gatillo. El arma sigue disparando hasta que se agota la munición porque, por así decirlo, el arma no sabe que está cometiendo un error.

Las armas automáticas son extremadamente peligrosas, pero afortunadamente cuentan con operadores humanos que pueden interrumpir el enlace de la munición o intentar orientar el arma en una dirección segura. Las armas autónomas, por definición, no tienen esa salvaguarda.

Y lo que es más importante, la IA militarizada ni siquiera tiene que ser defectuosa para producir el efecto de pistola desbocada. Como han demostrado múltiples estudios sobre errores algorítmicos en distintos sectores, los mejores algoritmos —que funcionan según su diseño— pueden generar resultados internamente correctos que, sin embargo, propagan rápidamente errores terribles entre la población. Por ejemplo:

• Una red neuronal diseñada para su uso en los hospitales de Pittsburgh identificó el asma como un factor de riesgo en los casos de neumonía.
• El software de reconocimiento de imágenes utilizado por Google identificó a los negros como gorilas.
• Una herramienta de aprendizaje automático utilizada por Amazon para clasificar a los candidatos a un puesto de trabajo asignó sistemáticamente puntuaciones negativas a las mujeres.

El problema no es sólo que cuando los sistemas de IA se equivocan, lo hacen en masa. Es que cuando se equivocan, sus creadores a menudo no saben por qué lo han hecho y, por tanto, cómo corregirlo. El problema de la caja negra de la IA hace casi imposible imaginar un desarrollo moralmente responsable de los sistemas de armas autónomas.

Los problemas de proliferación

Los dos siguientes peligros son los problemas de proliferación de la gama baja y de la gama alta. Empecemos por el extremo inferior. Los ejércitos que están desarrollando armas autónomas en la actualidad parten del supuesto de que serán capaces de contener y controlar el uso de las armas autónomas. Pero si la historia de la tecnología armamentística ha enseñado algo al mundo, es esto: Las armas se extienden.

Las presiones del mercado podrían dar lugar a la creación y venta generalizada de lo que puede considerarse el equivalente en armas autónomas del fusil de asalto Kalashnikov: robots asesinos baratos, eficaces y casi imposibles de contener mientras circulan por el mundo. Las armas autónomas “Kalashnikov” podrían llegar a manos de personas ajenas al control gubernamental, incluidos los terroristas internacionales y nacionales.

Sin embargo, la proliferación de alto nivel es igual de mala. Las naciones podrían competir para desarrollar versiones cada vez más devastadoras de armas autónomas, incluidas las capaces de montar armas químicas, biológicas, radiológicas y nucleares. Los peligros morales de la escalada de la letalidad de las armas se verían amplificados por la escalada del uso de las mismas.

Es probable que las armas autónomas de alta gama conduzcan a guerras más frecuentes porque disminuirán dos de las principales fuerzas que históricamente han evitado y acortado las guerras:

La preocupación por los civiles en el extranjero y la preocupación por los propios soldados.

Es probable que las armas estén equipadas con costosos reguladores éticos diseñados para minimizar los daños colaterales, utilizando lo que la Relatora Especial de la ONU, Agnes Callamard, ha llamado el “mito del ataque quirúrgico” para acallar las protestas morales.

Las armas autónomas también reducirán tanto la necesidad como el riesgo de los propios soldados, alterando drásticamente el análisis coste-beneficio que las naciones realizan al lanzar y mantener las guerras.

Es probable que las guerras asimétricas —es decir, las que se libran en el territorio de naciones que carecen de tecnología competitiva— sean cada vez más comunes. Pensemos en la inestabilidad mundial provocada por las intervenciones militares soviéticas y estadounidenses durante la Guerra Fría, desde la primera guerra por poderes hasta el retroceso experimentado en todo el mundo en la actualidad. Multiplica eso por todos los países que actualmente aspiran a tener armas autónomas de alta gama.

Socavar las leyes de la guerra

Por último, las armas autónomas socavarán la última barrera de la humanidad contra los crímenes de guerra y las atrocidades: las leyes internacionales de la guerra.

Estas leyes, codificadas en tratados que se remontan a la Convención de Ginebra de 1864, son la delgada línea azul internacional que separa la guerra con honor de la masacre. Se basan en la idea de que las personas pueden rendir cuentas de sus actos incluso en tiempos de guerra, que el derecho a matar a otros soldados durante el combate no da derecho a asesinar a civiles.

Un ejemplo destacado de alguien a quien se le exigen responsabilidades es Slobodan Milosevic, ex presidente de la República Federal de Yugoslavia, que fue acusado de crímenes contra la humanidad y crímenes de guerra por el Tribunal Penal Internacional para la ex Yugoslavia de la ONU.

Pero, ¿cómo se puede responsabilizar a las armas autónomas? ¿Quién es el culpable de que un robot cometa crímenes de guerra? ¿A quién hay que juzgar? ¿Al arma? ¿Al soldado? ¿Los mandos del soldado? ¿La empresa que fabricó el arma? A las organizaciones no gubernamentales y a los expertos en derecho internacional les preocupa que las armas autónomas provoquen un grave vacío en la rendición de cuentas.

Para responsabilizar penalmente a un soldado por desplegar un arma autónoma que comete crímenes de guerra, los fiscales tendrían que probar tanto el actus reus como el mens rea, términos latinos que describen un acto culpable y una mente culpable.

Esto sería difícil desde el punto de vista jurídico, y posiblemente injusto desde el punto de vista moral, dado que las armas autónomas son inherentemente imprevisibles. La distancia que separa al soldado de las decisiones independientes tomadas por las armas autónomas en entornos que evolucionan rápidamente es, sencillamente, demasiado grande.

El desafío legal y moral no se facilita trasladando la culpa a la cadena de mando o al lugar de producción. En un mundo sin regulaciones que obliguen a un control humano significativo de las armas autónomas, habrá crímenes de guerra sin criminales de guerra a los que responsabilizar. La estructura de las leyes de la guerra, junto con su valor disuasorio, se debilitará considerablemente.

Una nueva carrera armamentística mundial

Imagínese un mundo en el que los militares, los grupos insurgentes y los terroristas internacionales y nacionales pueden desplegar una fuerza letal teóricamente ilimitada con un riesgo teóricamente nulo en el momento y el lugar que elijan, sin la consiguiente responsabilidad legal.

Es un mundo en el que el tipo de errores algorítmicos inevitables que afectan incluso a los gigantes de la tecnología como Amazon y Google, pueden llevar ahora a la eliminación de ciudades enteras. La realidad es que el mundo no debería repetir los errores catastróficos de la carrera armamentística nuclear. No debe caminar dormido hacia la distopía.