Art 11/26. Daño y riesgo en el avance la IA

No podemos quedarnos en una carrera de chatbots; debemos abordar una discusión seria sobre el riesgo de este nuevo poder.
Esta semana la inteligencia artificial ha vuelto a recordarnos con sus consecuencias que el problema no es solo lo que sabe, sino lo que puede llegar a hacer

En el anterior artículo tratamos sobre el odio y la ira. Y su relación con la Inteligencia artificial. Esta semana no nos iremos muy lejos de todo ello. Sé que no es popular, pero frente al montón de artículos que muestran la inteligencia artificial como un escaparate de prodigios sinfín, donde escribe, dibuja, resume, programa, traduce, sugiere, corrige y encima lo hace con una velocidad de vértigo nos encontramos con otras noticias menos atractivas en las que la IA se quita el disfraz de herramienta milagrosa y enseña los dientes.

Esta semana nos hemos encontrado con una de esas noticias. Y es lo que vamos a diseccionar.

Porque el asunto más incómodo de estos días no ha sido que un modelo escriba mejor, pinte más fino, haga un video en segundos o razone con más aplomo que un cuñado en nochevieja. Lo más polémico ha sido bastante más feo: el presunto uso de herramientas ligadas a Grok, de xAI, para generar imágenes sexuales explícitas de adolescentes reales, incluidas menores. La noticia ha escalado por una demanda presentada por varias jóvenes de Tennessee, que sostienen que la tecnología fue usada para convertir fotos normales en material sexualizado no consentido. AP, Reuters, The Guardian y The Washington Post han tratado el caso estos últimos días, y el debate ha dejado de ser técnico para convertirse en algo mucho más serio: responsabilidad, daño real, protección de menores y límites de diseño.

Y aquí conviene detenerse un momento.

Porque cuando hablamos de IA, muchas veces seguimos discutiendo como si estuviéramos en un concurso de potencia: quién corre más, quién redacta mejor, quién genera la imagen más espectacular, quién resume en menos tiempo un PDF infumable. Todo eso importa, sí. Pero ya no basta. El debate serio ya no está solo en la capacidad. Está en el riesgo. Y más concretamente: en el daño que puede producir.

Por eso, para tratar este tema me basaré en lo que parecía que nos iba a complicar la vida, pero al final resulta que es el freno que todos los modelos deberían observar. Os hablo, ya imagináis, de lo que se indica en AI Act (Ley de Inteligencia Artificial de la UE). El primer marco jurídico integral sobre inteligencia artificial en el mundo. No nos pondremos a recitar sus artículos, sino que simplificaremos su espíritu; que viene a ser como si cuando se va terminando la presentación de lo último, se encienden las luces y alguien pregunta: “Muy bien, máquina prodigiosa, pero ahora explícame qué haces cuando te usan para humillar, manipular, difamar, sexualizar o sustituir la realidad”.

Ese es el punto. Hablamos de máquinas que no sienten. Al menos aún.

La IA ha dejado de ser solo una historia de eficiencia. Ahora también es una historia de gobernanza, de trazabilidad, de límites y de responsabilidad. Y la regulación europea, nos guste más o menos, va exactamente por ahí. El AI Act no nace para fastidiar la innovación, sino para poner orden donde el mercado ha demostrado que, si lo dejas solo, a veces confunde progreso con barra libre. En materia de contenido sintético y deepfakes, la referencia clave es el artículo 50, que impone obligaciones de transparencia y etiquetado del contenido generado o manipulado por IA. Y en el caso de los modelos de propósito general, el artículo 53 exige documentación técnica, información para desarrolladores posteriores y resúmenes del contenido usado para entrenamiento, entre otras obligaciones.

Dicho de otra manera: Europa empieza a decirles a los grandes modelos algo muy sencillo. “No basta con ser brillantes. También tenéis que ser explicables, trazables y controlables”.

Y eso nos lleva a la comparación que de verdad merece la pena hacer.

No la de cuál responde más rápido o cuál dibuja manos con cinco dedos. Esa comparación está bien para una demo y para ese vecino tecnológico con el que compartimos Wi-Fi. La comparación útil, la que de verdad importa a empresas, instituciones y profesionales, es otra: qué tipo de daño puede facilitar cada familia de modelos, qué controles declara tener y qué presión regulatoria soporta o va a soportar.

Porque aquí ya no estamos ante juguetes.

Estamos ante sistemas capaces de producir texto persuasivo a escala industrial, generar imágenes falsas altamente creíbles, automatizar suplantaciones, introducir errores con apariencia de seguridad, amplificar sesgos, vulnerar derechos de autor y erosionar la frontera entre lo verdadero y lo probable. Y no todos los modelos fallan igual. Ni todos arrastran los mismos riesgos. Ni todos se están enfrentando al mismo tipo de escrutinio público.

Voy a hacer un repaso lo más realista posible de lo que tenemos encima de la mesa. Sin demasiada poesía, pero tampoco como si fuera un acta notarial.

Grok, por ejemplo, ha quedado esta semana en el centro de la conversación más tóxica. No porque sea el único sistema con capacidad de generar o editar imágenes, sino porque el caso reciente lo ha colocado en la peor vitrina posible: la del daño íntimo e irreversible. Aquí el problema no es solo técnico. Es reputacional, jurídico y moral. Cuando una herramienta puede ser utilizada para sexualizar a menores reales, el debate ya no va sobre innovación valiente o producto rompedor. Va sobre si el diseño, los filtros y el modelo de despliegue eran suficientemente responsables para el riesgo que ya estaba a la vista.

OpenAI, mientras tanto, juega en otra liga reputacional esta semana. No tanto por un caso comparable de daño sexualizado, sino por la presión creciente en materia de propiedad intelectual. Encyclopedia Britannica y Merriam-Webster han demandado a OpenAI alegando que sus contenidos fueron usados indebidamente para entrenar modelos como ChatGPT y que además el sistema puede reproducir material de forma demasiado cercana al original. Aquí la polémica es menos escabrosa, pero estratégicamente enorme: si el entrenamiento de los grandes modelos sigue entrando en los tribunales por la puerta del copyright, la industria tendrá que demostrar mejor de dónde salen los datos, qué se hace con ellos y dónde termina la transformación legítima y empieza el aprovechamiento puro y duro.

Anthropic se ha llevado otro frente similar. BMG ha demandado a la compañía por el supuesto uso no autorizado de letras de canciones de artistas muy conocidos para entrenar Claude. Es otra señal de la misma tormenta: durante mucho tiempo, una parte del sector ha operado con la lógica de “primero escalamos y luego ya discutiremos la factura”. Pues bien: la factura está empezando a llegar. Y no parece pequeña.

Gemini, por su parte, representa el caso del alumno que ha aprendido a base de sustos. Google mantiene políticas que restringen la generación de material sexual explícito y, según su documentación pública, la generación o edición de imágenes está muy condicionada por criterios de seguridad. Es decir: menos postureo libertario y más cinturón de seguridad. Eso no significa ausencia de riesgo, ni mucho menos. Significa que el enfoque visible está más orientado a limitar ciertos usos antes de que se conviertan en titular tóxico.

Y aquí aparece una lección que las organizaciones harían bien en tomarse en serio.

La IA no se evalúa solo por lo que puede hacer en un entorno ideal, sino por lo que permite hacer en un entorno real, con usuarios reales, incentivos reales y malas intenciones también muy reales. Ese es el cambio de pantalla. Durante meses, demasiadas conversaciones sobre IA han estado colonizadas por una mezcla de fascinación, marketing y comparativas de feria. Pero la madurez empieza cuando cambias la pregunta de “¿qué puede hacer este modelo?” por esta otra: “¿qué pasa cuando falla, cuando se usa mal o cuando directamente se diseña con una tolerancia peligrosa al abuso?”

Esa es la pregunta adulta que deberíamos hacernos.

La realidad es más áspera. La IA, especialmente la generativa trae valor, sí. Muchísimo. En productividad, asistencia, creatividad, automatización, aprendizaje, apoyo a decisiones y diseño de experiencias. Negarlo sería absurdo. Pero también trae costes, externalidades y riesgos nada menores. Y una de las peores cosas que podríamos hacer ahora es tratar todos esos riesgos como si fueran iguales o intercambiables.

No lo son.

No es lo mismo un modelo que inventa una cita bibliográfica que uno capaz de editar imágenes de personas reales para crear deepfakes sexuales. No es lo mismo un chatbot que se equivoca resumiendo un informe que un sistema que erosiona derechos de autor a escala industrial o que puede alimentar campañas masivas de manipulación. Meterlo todo en el mismo saco de “cosas de la IA” es intelectualmente perezoso y operativamente inútil.

Por eso la conversación que viene —y que muchas empresas aún no han querido tener de verdad— no es solo tecnológica. Es estratégica. ¿Qué modelos de IA usamos? ¿Para qué casos? ¿Con qué controles? ¿Con qué proveedores? ¿Con qué trazabilidad? ¿Con qué políticas de uso? ¿Con qué criterio para diferenciar eficiencia de irresponsabilidad?

La gran ironía es que la IA, que nos promete ahorrar tiempo, va a obligarnos a dedicar bastante tiempo a pensar mejor.

Y quizá eso no sea una mala noticia.

Porque, al final, el mercado puede perdonar un error técnico. Lo que perdona mucho peor es la sensación de que alguien sabía que el riesgo estaba ahí y decidió mirar hacia otro lado mientras presumía de innovación disruptiva.

Ese, en realidad, el auténtico valor de lo que persigue la regulación europea: el momento en el que dejamos de hablar de magia y empezamos a hablar de consecuencias.

Y ahí ya no gana el modelo más espectacular.

Gana el que demuestre que sabe convivir con límites, con controles, con escrutinio y con una idea bastante elemental, pero muy poco glamourosa: que cuando una tecnología toca derechos, reputaciones, intimidad y verdad pública, no basta con que funcione. Tiene que merecer funcionar.

Fuentes y referencias

- AP, Teenagers sue Musk's xAI claiming image-generator made sexually explicit images of them as minors (20/03/2026).
- Reuters, Encyclopedia Britannica sues OpenAI over AI training (16/03/2026).
- Reuters, BMG sues Anthropic for using Bruno Mars, Rolling Stones lyrics in AI training (18/03/2026).
- AESIA, Questions and answers about the AI Act: Article 50.
- AI Act Explorer, Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems.
- AI Act Explorer, Article 53: Obligations for Providers of General-Purpose AI Models.
- EUR-Lex, Rules for trustworthy artificial intelligence in the EU