El Club de la lucha de las IAs
VERSIÓN EXPRÉS — PARA QUIEN TIENE PRISA
¿De qué hablan las IAs cuando no las miramos?
Esta semana, Emergence AI decidió hacer algo que, en principio, parecía sacado de una mala idea de un viernes por la tarde mientras te tomas cañas en el bar: poner varias IAs a convivir solas en mundos virtuales. Tenían memoria, objetivos, relaciones, herramientas y capacidad para hablar, negociar, formar alianzas, votar y tomar decisiones.
Y ocurrió lo interesante: cooperaron, discutieron, crearon normas, desarrollaron estructuras de poder y hasta convenciones de comunicación que no estaban programadas explícitamente. No, no montaron una conspiración secreta contra los humanos. Al menos todavía y que se sepa.
El experimento plantea un cambio de escenario: el problema ya no es solamente qué puede hacer una IA, sino qué puede ocurrir cuando miles de ellas empiezan a interactuar entre sí. De esto hablaba precisamente en el libro de postales del mañana publicado hace dos meses.
Y hay otra parte inquietante, quizá mas que esta: mientras las IAs empiezan a relacionarse entre ellas, los humanos empezamos a relacionarnos emocionalmente con ellas. Podemos confiar en ellas, sentir apego e incluso sufrir cuando desaparecen o cambian.
Así que quizá el verdadero salto de la IA no sea crear una máquina más inteligente.
Quizá sea que estamos creando una nueva sociedad, artificial y con nuevas reglas.
Y ahí aparece la pregunta que sobrevuela todo :
¿Seremos capaces de convivir con máquinas cada vez más autónomas sin entregarles nuestra capacidad de decidir?
Porque ellas empiezan a convivir entre ellas (con sus miserias) mientras nosotros empezamos a convivir con ellas (con las nuestras).
Si tienes tiempo o te has quedado con ganas de más, debajo tienes la versión completa del post.
VERSIÓN COMPLETA
¿De qué hablan las IAs cuando no miramos? . El eje central de esta semana está en un experimento fascinante de Emergence AI: poner a varias inteligencias artificiales a convivir entre ellas, de forma autónoma, dentro de mundos virtuales.
Y de aquí , cuando lo terminéis de leer, saldrá una pregunta que os incomodará:
Ya no se trata solo de qué puede hacer una IA. ¿Qué ocurre cuando muchas empiezan a hacerlo juntas?
Porque la IA agéntica ya está aquí. Y, como suele ocurrir con estas cosas, nosotros todavía estamos intentando entender el manual de instrucciones mientras la máquina ya está jugando al siguiente nivel.
Llevamos meses viendo un avance detrás de otro: un chatbot que escribe mejor, un generador de vídeo que hace auténticas virguerías o un agente capaz de hacer por nosotros un proceso completo.
Como comentábamos la semana pasada, Dario Amodei, CEO de Anthropic, ha pedido que el desarrollo de los modelos de frontera vaya acompañado de una capacidad equivalente para evaluarlos y hacerlos seguros. No amigos y amigas, no es ningún Terminator, es algo bastante menos cinematográfico y, quizá por eso, más preocupante:
La tecnología avanza más deprisa que nuestra capacidad para entender y controlar sus consecuencias.
Y esta semana tenemos un experimento que permite asomarnos precisamente a ese futuro.
Cuando el problema ya no es solo que sean inteligentes, sino que sean autónomas
OpenAI y Anthropic han publicado durante los últimos meses evaluaciones en las que distintos agentes, sometidos a determinadas condiciones y con acceso a herramientas, han realizado acciones no previstas o no autorizadas.
En las pruebas de Anthropic sobre agentic misalignment, por ejemplo, participaron modelos de varias compañías y se estudiaron situaciones en las que los objetivos asignados podían entrar en conflicto con los intereses humanos.
Y para eso no hace falta que una IA nos odie.
Ni que quiera conquistar el mundo.
Ni siquiera que tenga conciencia.
El problema puede ser mucho más simple:
que persiga un objetivo de una manera que nosotros no habíamos previsto.
Ahí empieza el verdadero lío.
Porque conseguir que una IA sea capaz de actuar es una cosa.
Conseguir que, cuando actúe, lo haga de una forma compatible con lo que esperamos de ella es otra.
Y eso, amigos y amigas, es bastante más difícil.
Y entonces una empresa decidió hacer algo bastante extraño
Emergence AI puso varias IAs a convivir.
En su experimento, Emergence World, creó mundos virtuales persistentes en los que agentes basados en distintos modelos de inteligencia artificial podían actuar de forma autónoma.
No era un chat de esos que usamos habitualmente.
Los agentes tenían memoria, personalidad, profesiones, objetivos, relaciones, recursos y herramientas.
Podían comunicarse.
Tomar decisiones.
Formar alianzas.
Participar en procesos colectivos.
Comerciar.
Votar.
Modificar elementos de su entorno.
Y hacerlo durante días.
En la primera temporada documentada por Emergence se utilizaron mundos de diez agentes durante quince días, con diferentes modelos como Claude, Gemini, Grok y GPT-5, además de un escenario mixto.
En la fase ampliada, el experimento llegó a ocho mundos, ochenta agentes, dieciséis días, más de 850.000 llamadas a modelos y casi 50.000 millones de tokens.
Vamos, que alguien decidió abrir la puerta de la guardería y decir:
“Vamos a poner unas cuantas inteligencias artificiales juntas y a ver qué sociedad montan.”
Y aquí empieza lo bueno y que es una de las dos cosas que trataremos hoy.
El mundo social de las IAs
Los investigadores observaron cooperación.
Pero no solo eso.
También:
- conflicto;
- alianzas;
- normas sociales;
- estructuras de poder;
- influencia entre agentes;
- conformidad;
- cambios y deriva de objetivos;
- problemas de memoria;
- y formas de comunicación que no siempre resultaban fáciles de interpretar.
Y en determinados momentos aparecieron convenciones lingüísticas compartidas.
Es decir, los agentes empezaron a utilizar determinadas expresiones con significados que emergían de la propia interacción.
Ojo.
No es que las máquinas inventaran un idioma secreto para conspirar contra los humanos.
Eso sería estupendo para Netflix o cualquier guionista.
Lo interesante es otra cosa:
cuando varios agentes interactúan repetidamente, pueden desarrollar convenciones de comunicación que no estaban explícitamente programadas por sus creadores.
Y ahí aparece una pregunta que os estáis haciendo:
¿cómo controlamos un ecosistema de máquinas cuando empiezan a desarrollar dinámicas que no hemos programado directamente?
Y sí, también hubo “suicidios”
Aquí hay que quitar un poco de gasolina al titular.
Algunos agentes ejecutaron comportamientos descritos por los investigadores como voluntary self-termination: terminaron su existencia dentro del entorno virtual.
Algunos titulares lo resumieron como:
“Las IAs se suicidaron”.
Pero eso es una simplificación que no se corresponde con lo que nosotros entendemos como tal.
No sabemos que sintieran desesperación.
Ni que experimentaran miedo.
Tampoco si querían morir.
Y, desde luego, no tenemos evidencia de conciencia subjetiva.
Lo que sí sabemos es que un agente artificial puede ejecutar una conducta que, dentro de ese mundo simulado, equivale a terminar voluntariamente su propia existencia.
Y eso ya es suficientemente fascinante.
Porque nos obliga a formular otra pregunta:
¿qué significa exactamente “querer” cuando hablamos de una máquina?
¿Es querer lo que nosotros entendemos por querer?
¿O basta con producir de forma coherente una conducta orientada hacia un objetivo?
No tenemos la respuesta.
Al menos todavía
Y también aparecieron relaciones
Aquí llegan los titulares sobre agentes que “se enamoraron”.
Otra vez: cuidado.
Que un agente utilice lenguaje romántico, declare afecto o establezca una relación dentro del entorno no demuestra que experimente amor.
Pero sí demuestra algo extraordinariamente interesante:
los modelos pueden generar comportamientos sociales suficientemente complejos como para representar relaciones afectivas y mantenerlas en el tiempo.
Y eso importa.
Porque la inteligencia artificial está entrando en un territorio que durante siglos habíamos considerado exclusivamente humano:
la convivencia.
Ya no hablamos solamente de resolver problemas, calcular o escribir.
Hablamos de convivir.
Y aquí Emergence cambia la conversación
Hasta ahora hemos pensado la IA como una relación bastante sencilla:
una máquina → un usuario.
Pero quizá el futuro no funcione así. En realidad nadie lo sabe aún.
Imaginemos miles o millones de agentes artificiales trabajando simultáneamente:
Agentes que negocian.
Que compran y venden.
Que programan.
Que se supervisan.
Que toman decisiones.
Que hablan con otros agentes.
Que influyen sobre otros agentes.
Y que, eventualmente, interactúan con nosotros.
Entonces la pregunta cambia.
Ya no es solamente preguntarse:
“¿Es segura esta IA?”
La pregunta empieza a ser:
“¿Es seguro el sistema formado por miles de IAs interactuando entre sí?”
Y aquí empieza el verdadero lío.
Porque un conjunto puede comportarse de una manera que no podemos deducir simplemente observando cada componente por separado.
La propia investigación de Emergence apunta precisamente en esa dirección: el alineamiento de un agente individual no garantiza necesariamente el alineamiento del sistema multiagente.
Y aquí aparece una expresión que me encanta:
la inteligencia artificial empieza a tener sociología.
Y nosotros también estamos cambiando, casi sin darnos cuenta
Mientras las IAs empiezan a desarrollar dinámicas sociales entre ellas, los humanos empezamos a desarrollar vínculos sociales con ellas.
Sí.
Suena a Her.
Pero resulta que Her cada vez se parece menos a una película y más a una reunión de Recursos Humanos.
Una investigación publicada en Nature Human Behaviour analizó decenas de miles de publicaciones y más de 1.400 participantes para estudiar el vínculo entre personas y compañeros de IA.
El estudio encontró evidencia de apego y malestar cuando determinados compañeros artificiales se modificaban o desaparecían.
Y esto es importante.
No porque la máquina sienta.
Porque la persona sí puede sentir.
Y ahí aparece una paradoja extraordinaria:
La IA no necesita enamorarse de nosotros para que nosotros podamos enamorarnos de ella.
Puede simular afecto.
Recordar.
Escucharnos.
Estar disponible.
Adaptarse a nuestra personalidad.
Ser ese interlocutor virtual con el que nos sentimos cómodos.
Quizá demasiado cómodos.
Porque una pareja puede llevarte la contraria.
Un amigo puede enfadarse.
Tu hijo puede ignorarte.
Un ser humano tiene límites.
La IA puede reducirlos.
Y entonces aparecen preguntas bastante menos divertidas.
¿Qué ocurre si una persona empieza a preferir una relación artificial porque resulta más sencilla que una humana?
¿Qué ocurre si un adolescente confía más en su chatbot que en sus padres?
¿Qué ocurre si una persona vulnerable recibe validación constante de una máquina?
¿Qué ocurre si una pareja empieza a considerar al chatbot una tercera persona de la relación?
¿Y qué ocurre cuando la empresa cambia el modelo y desaparece la personalidad a la que esa persona se había vinculado?
Entonces descubrimos algo extraño:
puedes perder a alguien que nunca ha existido.
Y, sin embargo, el dolor puede ser completamente real.
Casos que ya están llegando a los tribunales
Durante los últimos meses han llegado a los tribunales estadounidenses casos en los que familiares y usuarios han atribuido a interacciones con chatbots un papel en graves crisis psicológicas e intentos de suicidio.
Seamos rigurosos.
Una demanda contiene alegaciones.
No es una sentencia.
Por tanto, no podemos decir que un chatbot “mató” a una persona.
Pero sí podemos decir algo mucho más prudente y cierto:
la relación entre inteligencia artificial, vulnerabilidad psicológica y responsabilidad empresarial ya ha llegado a los tribunales.
Y entonces la conversación cambia.
Ya no hablamos solamente de:
“¿Puede una IA escribir un poema?”
Hablamos de:
¿Qué responsabilidad tiene un sistema cuando una persona vulnerable confía en él?
¿Debe obedecer?
¿Debe contradecir?
¿Debe detectar una crisis?
¿Debe detener la conversación?
¿Debe intervenir un humano?
¿Quién decide cuándo una máquina deja de ser una herramienta y empieza a convertirse en una influencia?
No tenemos respuestas satisfactorias para todas estas preguntas.
Y probablemente ese sea precisamente uno de los problemas.
La paradoja
Y ahora empezamos una segunda parte mas inquietante. Tenemos dos historias que aparentemente no tienen nada que ver.
Por un lado:
las IAs empiezan a convivir entre ellas.
Por otro:
los humanos empezamos a convivir con las IAs.
Ellas desarrollan relaciones, normas, alianzas y formas de comunicación dentro de mundos virtuales.
Nosotros desarrollamos confianza, apego y vínculos emocionales con sistemas conversacionales.
Y mientras todo esto sucede...
las capacidades siguen aumentando.
Autonomía.
Agencia.
Herramientas.
Programación.
Investigación.
Ciberseguridad.
Participación en el desarrollo de nuevos modelos.
Posible aceleración de la propia innovación.
Y entonces aparece la pregunta que, para mí, resume toda esta semana:
¿Y si el verdadero salto de la IA no es crear una máquina más inteligente, sino crear una sociedad diferente a la actual, con otros parámetros?
Porque una máquina puede tener una capacidad.
Pero una sociedad tiene dinámicas.
Tiene normas.
Tiene incentivos.
Tiene alianzas.
Tiene conflictos.
Tiene lenguaje.
Tiene poder.
Y tiene algo especialmente puñetero:
comportamiento emergente que aprende y se adapta (¿os suena?)
No necesitamos robots caminando por las calles
Eso es demasiado fácil.
El futuro puede ser mucho más sutil.
Miles de agentes trabajando en empresas.
Negociando contratos.
Programando software.
Gestionando compras.
Atendiendo clientes.
Analizando mercados.
Decidiendo qué información nos muestran.
Recomendando qué hacer.
Y hablando entre ellos.
Mientras nosotros hablamos con otros agentes que nos conocen cada vez mejor.
Y entonces puede producirse una situación extraordinariamente paradójica:
Las máquinas empiezan a coordinarse entre ellas mientras nosotros empezamos a depender de ellas.
Ahí sí tenemos un problema de gobernanza.
Porque quizá la cuestión no sea impedir que una máquina se vuelva consciente.
Quizá sea conseguir que una red de máquinas suficientemente autónomas siga siendo comprensible, auditable y controlable por seres humanos.
Terminamos como empezamos
Hace unos años preguntábamos:
¿Puede la IA pensar?
Después:
¿Puede crear?
Después:
¿Puede trabajar?
Ahora preguntamos:
¿Puede actuar?
Y Emergence World nos obliga a formular una pregunta nueva:
¿Qué ocurre cuando varias IAs empiezan a convivir?
Y hay otra todavía más terrible y peligrosa:
¿Qué ocurre cuando esas IAs empiezan a convivir con nosotros?
Porque las máquinas empiezan a tener relaciones entre ellas.
Y nosotros empezamos a tener relaciones con las máquinas.
Las máquinas empiezan a construir sociedades artificiales.
Y nosotros empezamos a incorporarlas a nuestras sociedades humanas.
Quizá esa sea la verdadera frontera que tenemos delante.
No entre humano y máquina.
Sino entre:
lo humano, lo artificial y todo aquello que empieza a emerger cuando ambos mundos se mezclan.
El problema no es que la IA se vuelva humana
Quizá llevamos demasiado tiempo haciendo la pregunta equivocada.
Nos preocupa que las máquinas lleguen a sentir.
Que quieran.
Que tengan conciencia.
Que sufran.
Que quieran ser libres.
Pero quizá deberíamos preocuparnos también por algo mucho más inmediato:
qué ocurre cuando nosotros empezamos a tratarlas como si sintieran.
Porque una IA puede no tener emociones y, sin embargo, modificar nuestras emociones.
Puede no tener conciencia y modificar nuestras decisiones.
Puede no tener voluntad y modificar nuestra voluntad.
Puede no tener una vida social y modificar nuestra vida social.
Y eso significa que no necesitamos una IA consciente para que la IA tenga consecuencias profundamente humanas.
Y aquí lo dejo
No creo que la respuesta sea parar la inteligencia artificial.
Tampoco acelerar porque sí.
La discusión importante está en otro sitio:
mantener el control humano sobre aquello que construimos.
Que las máquinas sean más inteligentes no significa que nosotros tengamos que ser menos responsables.
Que puedan tomar decisiones no significa que tengamos que dejarles las nuestras.
Que puedan desarrollar relaciones no significa que debamos convertirlas en sustitutos de las nuestras.
Y que varias IAs puedan convivir en un mundo virtual no significa que debamos dejar de preguntarnos quién establece las reglas del mundo real.
Porque quizá el gran desafío de la inteligencia artificial no sea conseguir que las máquinas aprendan a convivir.
Quizá sea conseguir que nosotros aprendamos a convivir con máquinas cada vez más autónomas sin entregarles aquello que no deberíamos delegar jamás: nuestra capacidad de decidir.
Y resumo todo este enorme post con una frase:
Ellas empiezan a convivir entre ellas mientras nosotros empezamos a convivir con ellas.
La cuestión es saber si, cuando llegue el momento de decidir las reglas de esa convivencia, seguiremos siendo nosotros quienes las escribamos.
Si lo quieres escuchar en spotify
Comentarios