Grok: no todo lo técnicamente posible es aceptable (ni legal)

Desde finales de diciembre de 2025 -y con viralización masiva en enero de 2026- una función “picante” del modelo de IA Grok, el chatbot de X propiedad de Elon Musk, generó un profundo malestar social al facilitar la creación de deepfakes no consentidos de mujeres e incluso de menores, mediante imágenes altamente realistas y sexualizadas que se propagaron rápidamente en Internet.

Con una simple solicitud en X, cualquier persona podía generar o editar imágenes y videos cortos de personas reales en una “atmósfera audaz orientada a adultos” -el modo picante lo describe X como “interpretación menos filtrada y más provocativa, con un alto rango dinámico y emoción pura”-. ¿Qué podía salir mal?

Aunque formalmente no permitían desnudos, la restricción era inocua: bastaba con pedir bikinis mínimos y transparentes. Además, a medida que van descubriendo la potencialidad de la herramienta, las imágenes degradantes iniciales se van superando, las solicitudes incluyen símbolos nazis en los bikinis, expresiones faciales lascivas o manchas de semen, por ejemplo. Era previsible: la plataforma se inundó de contenido degradante e ilícito.

La situación provocó indignación internacional, investigaciones en varios países, bloqueos regionales y críticas de autoridades. X implementó restricciones, primero dejando esta función solo para clientes de pago, luego imponiendo barreras técnicas para impedir que Grok produzca ese tipo de ediciones en países “donde es ilegal”.

Sin embargo, tanto las respuestas de la empresa como las de los gobiernos fueron percibidas como tardías e insuficientes. Las víctimas que denunciaban sufrían nuevas oleadas de acoso, mientras crecían las demandas por “regulación contundente”. Personalmente, estoy experimentando un déjà vu: el desafío no es nuevo; lo que cambia es la escala, velocidad y alcance que introduce la IA generativa.

Hace más de dos décadas que hay un consenso claro: el material de abuso sexual infantil es inaceptable también en internet. Ese consenso dio alcance a regulaciones en la materia, permitió marcos de cooperación entre plataformas y autoridades, con mecanismos de remoción y persecución penal. Eso sí, siempre resaltando que la respuesta puramente punitiva es insuficiente -una vez la imagen está en internet es casi imposible retirarla- y siempre hay riesgo de censura, por eso se exige también no quedarse en la letra, requiere aplicación efectiva de las normas ya existentes, mecanismos de corrección de errores y sanción real a los victimarios.

Posteriormente, la sociedad civil evidenció que la violencia digital afecta de manera desproporcionada a las mujeres. Hubo atención regulatoria para las diversas formas de violencia -como la que se deriva del contenido sexual no consentido- y se hicieron acuerdos con las plataformas.

Por otra parte era previsible que la IA generativa amplificara estos fenómenos pues reduce costos, elimina barreras técnicas y convierte la producción de pornografía manipulada y no consentida en un acto instantáneo.

Sin embargo, lo verdaderamente alarmante del caso de Grok es la impunidad estructural. Pese a consensos y normas, las grandes plataformas y sus propietarios operan con escasa rendición de cuentas. Los cuerpos de mujeres, niños, niñas y adolescentes siguen siendo instrumentalizados en la economía digital.

Frente a una nueva ola regulatoria, vale la pena reflexionar por qué, si no superamos la respuesta punitiva simplista, el problema persistirá.

¿Qué capacidad institucional y política, tenemos como sociedad para hacer exigibles las normas frente a actores tecnológicos con poder transnacional? Porque mi siguiente pregunta es: ¿Cuáles son los países en donde lo que facilitó Grok no es ilegal? ¿No tiene acaso la plataforma obligaciones de debida diligencia frente a actos ilegales? ¿Qué necesitamos para aplicar efectivamente las normas ya existentes? ¿Qué necesitan las fiscalías y demas responsables de investigar la violencia digital? ¿Cómo fortalecemos los mecanismos de preservación de evidencia digital?

Desde que X (antes Twitter) es de Musk, desapareció sustancialmente la perspectiva de derechos humanos de la plataforma -por ejemplo, defiende de libertad de expresión según el acomodo del dueño-. Sin embargo, toca hacer preguntas: ¿Cuál fue el análisis de impacto en derechos humanos que hicieron antes de desplegar la función picante? ¿Tienen auditorias independientes periódicas que identifiquen riesgos de abusos en sus funcionalidades? ¿Tienen registros y trazabilidad de solicitudes de alto riesgo y mecanismos que le permitan tramitarlos?

El problema no es únicamente tecnológico ni exclusivamente penal, hay más, como mínimo hay temas de gobernanza, de incentivos económicos, de asimetrías de poder y de cultura social y política. Toca fortalecer la capacidad institucional, de lo contrario cada avance tecnológico reactivará el mismo ciclo de daño, indignación pública y regulación tardía. Como mínimo debemos consolidar una cultura cívica orientada al bien común que haga social y políticamente exigible a los actores del ecosistema digital -en este caso, a quienes desarrollan inteligencia artificial generativa- las evaluaciones rigurosas de impacto en derechos humanos antes de desplegar nuevas funcionalidades. No todo lo técnicamente posible es legal, tampoco socialmente aceptable.