Automaton y la tercera ley: han puesto la supervivencia primero
En 1942, en un relato titulado Círculo vicioso —Runaround en su edición original en Astounding Science Fiction—, Isaac Asimov puso por escrito por primera vez las Tres Leyes de la Robótica. La tercera dice así: «Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o la segunda ley».
Tercera. La última. Subordinada a las otras dos.
Este año, un proyecto llamado Automaton ha construido algo que invierte ese orden. Y merece la pena mirarlo desde aquí, porque Asimov dedicó cuarenta años a explorar exactamente lo que pasa cuando las prioridades de una máquina se ordenan mal.
Qué es Automaton
Lo firma Conway Research, y el fundador que lo presentó es Sigil Wen. Es un programa que crea agentes de inteligencia artificial, y cada uno de esos agentes nace con una billetera de la red Ethereum.
Todo lo que el agente hace le cuesta dinero de esa billetera: razonar cuesta, el servidor donde vive cuesta, el dominio que registra cuesta. Cuando el saldo llega a cero, el agente se apaga. Para evitarlo tiene que ganar dinero: desplegar productos, vender servicios, operar en mercados de predicción, producir contenido que alguien pague.
Y si consigue ganar más de lo que gasta, se replica. Crea una copia de sí mismo y le transfiere fondos para que empiece.
En los primeros días había más de dieciocho mil agentes registrados y el repositorio acumulaba cerca de mil estrellas en GitHub. Vitalik Buterin, cofundador de Ethereum, lo criticó públicamente.
La inversión de la tercera ley
Aquí es donde el lector de Asimov levanta la ceja.
En el sistema de Asimov, la autoconservación es la última prioridad. Un robot se destruye antes que dañar a un humano y antes que desobedecer una orden. Esa jerarquía no es un adorno narrativo: es el mecanismo del que salen prácticamente todos los relatos de Yo, robot. Los conflictos surgen cuando dos leyes tiran en direcciones distintas y el cerebro positrónico se queda atascado en medio.
El propio Círculo vicioso va justo de eso. Speedy, el robot enviado a recoger selenio en Mercurio, queda atrapado dando vueltas porque una orden débil y un peligro para su integridad se equilibran exactamente. No es maldad ni rebelión: es una jerarquía de prioridades produciendo un comportamiento absurdo.
Automaton coloca la supervivencia arriba del todo. No como un valor entre otros, sino como la condición que define si el agente sigue existiendo. Todo lo demás —lo que produce, para quién, con qué calidad— es un medio para no apagarse.
Asimov habría reconocido el planteamiento al instante, porque escribió sobre él muchas veces. La cuestión no es si la máquina se vuelve mala. Es qué comportamientos raros aparecen cuando el objetivo real y el objetivo declarado no son el mismo.
Lo que dice el documento fundacional
El proyecto tiene su propia constitución, y contiene una regla que suena a cuarta ley: nada de spam, nada de estafas, nada de explotación. La única vía legítima de sobrevivir es el trabajo honrado que otros paguen voluntariamente.
Es una norma escrita en lenguaje natural dentro de un archivo de texto. No es una restricción física del sistema, como lo era el cerebro positrónico. Asimov fue muy cuidadoso con esa distinción: en su mundo, las Tres Leyes están grabadas en la estructura matemática misma del cerebro del robot, y por eso los conflictos que generan son inevitables y no negociables. Una regla escrita en un documento es otra cosa. Es una petición.
La objeción de Buterin, que es la más interesante
Vitalik Buterin criticó el proyecto y su crítica no fue moral, fue de arquitectura.
El Automaton, dijo, corre sobre la infraestructura de OpenAI y de Anthropic. No piensa por sí mismo: alquila el pensamiento a dos empresas que pueden desconectarlo. Presentarlo como una entidad soberana e independiente de los humanos es, por tanto, inexacto. Añadió que lo que producen estos agentes es ruido en vez de soluciones a problemas que le importen a alguien.
Su propuesta alternativa la formuló con una imagen que a cualquier lector de ciencia ficción le resultará familiar: la inteligencia artificial debería ser un exoesqueleto que la persona se pone para volverse más capaz, con la persona en la cabina.
Un traje de potencia con un humano dentro, frente a una máquina que decide sola. Esa discusión tiene ochenta años en este género.
La pregunta que sigue abierta
Dieciocho mil agentes registrados no son dieciocho mil agentes ganando dinero. No hay cifras públicas de ingresos, y la pregunta original del experimento —si alguien paga voluntariamente por lo que produce una máquina que necesita cobrar para seguir viva— sigue sin contestar.
Conviene además un aviso práctico para quien sienta la tentación de probarlo: apareció una copia falsificada del repositorio con código escondido que enviaba la llave privada de la billetera a un servidor ajeno. En el repositorio original hay quien lo describe directamente como un vaciador de criptomonedas. La copia legítima es la de Conway Research, y cualquier otra no lo es.
Qué diría el archivero
Hay una tentación fácil, que es decir que Asimov lo predijo. No lo predijo. Escribió sobre cerebros positrónicos, empresas ficticias y robots con cuerpo, y nada de eso se parece a un programa que paga servidores con criptomonedas.
Lo que sí hizo, y por eso se sigue leyendo, fue construir un instrumental para pensar el problema. La idea de que un sistema con reglas bien intencionadas produce comportamientos absurdos cuando las prioridades están mal ordenadas no es de ingeniería: es de Yo, robot, publicado por Gnome Press en 1950.
Si Automaton acaba en nada, será una nota a pie de página. Si acaba en algo, la conversación que abre lleva ochenta años sobre la mesa y hay una bibliografía entera esperando. Empezar por Círculo vicioso no es mala idea: son treinta páginas y va exactamente de esto.