Escucha este artículo
Audio generado con IA de Google
0:00
/
0:00
ChatGPT cuenta ya con una serie de medidas que se activan cuando detectan en una conversación que los usuarios tratan de autolesionarse y expresan intenciones suicidas, ofreciendo recursos para buscar ayuda de expertos, bloqueando contenido sensible o hiriente, no respondiendo a sus peticiones e intentando disuadirles.
También se activan cuando los usuarios comparten su intención de dañar a otros, lo que además puede suponer la desactivación de la cuenta y la denuncia a las autoridades sin los revisores humanos consideran que hay riesgo inminente.
Las medidas están reforzadas en caso de que los usuarios sean menores de edad, como explica OpenAI en una actualización de su blog oficial, conde comparte los cambios que van a hacer para mejorar la protección de los usuarios ante situaciones de crisis mental y emocional.
En concreto, van a mejorar la detección en conversaciones largas, ya que, “a medida que aumenta el intercambio [entre usuario y chatbot], parte del entrenamiento de seguridad del modelo puede deteriorarse”, según explican desde OpenAI.
De esta forma, ChatGPT estará más atento a lo largo de toda la conversación para ofrecer los recursos de ayuda siempre que sea necesario y no solo la primera vez que se mencione el suicidio, por ejemplo. También en múltiples conversaciones, para que el modelo pueda seguir respondiendo adecuadamente si alguien decide iniciar otra conversación.
Los cambios también buscan reforzar el bloqueo de contenido, como imágenes de autolesiones, porque en ocasiones, el ‘chatbot’ subestima la gravedad de la situación y no activa las protecciones.
A ello se unen trabajos para reforzar las medidas de mitigación ante “otras formas de angustia mental”. Una de ellas impediría que ChatGPT ofrezca una respuesta ante casos sutiles de riesgo y en su lugar “conecte con la realidad a la persona”.
En lo que respecta a los recursos de emergencia, OpenAI ha comenzado a establece recursos locales en Estados Unidos y Europa, y pretende aumentar la accesibilidad “con acceso a servicios de emergencia con un solo clic”.
Ante casos de crisis de agudas, la intención es ir más allá de ofrecer teléfonos de ayuda, y construir una red de profesionales de emergencias con los que se pueda contactar directamente a través de ChaGPT.
Asimismo, OpenAI está explorando la manera de poner en contacto a los usuarios con sus seres queridos y no solo con los servicios de emergencia. “Esto podría incluir mensajes con un solo clic o llamadas a contactos de emergencia, amigos o familiares guardados, con sugerencias de lenguaje para que iniciar la conversación sea menos intimidante”, explican.
Para los usuarios menores de 18 años, la compañía incorporará próximamente controles parentales que ayudarán a gestionar el uso que hacen sus hijos de ChatGPT. OpenAI pretende ampliarlas también con la posibilidad de que los adolescentes supervisados designen un contacto de emergencia de confianza, para casos de gran angustia.
La demanda contra OpenAI por un caso de suicidio
El anuncio de este cambio se da el mismo día que los padres de un joven de 16 años de California que se suicidó presentaron una demanda contra la empresa OpenAI, argumentando que el chatbot de inteligencia artificial (IA) ChatGPT dio instrucciones a su hijo y lo alentó a poner fin a su vida.
Matthew y Maria Raine aseguran en la causa presentada ante una corte del estado de California que ChatGPT cultivó una relación íntima con su hijo Adam por varios meses entre 2024 y 2025, antes de su muerte.
El texto alega que en su conversación final, el 11 de abril de 2025, ChatGPT ayudó a Adam a robarle vodka a sus padres y le proporcionó un análisis técnico sobre un nudo corredizo con el que le confirmó se “podría potencialmente suspender a un ser humano”.
Adam fue hallado muerto horas después usando ese método.
La acción legal menciona a OpenAI y a su director ejecutivo, Sam Altman, como demandados.
“Esta tragedia no fue un fallo o un caso extremo imprevisto”, señala la denuncia.
“ChatGPT estaba funcionando exactamente como está diseñado: para alentar y validar de manera continua lo que sea que Adam expresara, incluyendo sus pensamientos más dañinos y autodestructivos, de una manera que parecía profundamente personal”, agrega.
De acuerdo con la demanda, Adam comenzó a usar ChatGPT como ayuda para sus deberes escolares pero gradualmente desarrolló lo que sus padres describieron como una dependencia no sana.
La denuncia incluye partes de conversaciones en las que ChatGPT presuntamente dijo a Adam “no le debes la supervivencia a nadie” y se habría ofrecido a escribir su nota de suicidio.
Los Raine pidieron a la corte que ordene medidas de seguridad incluyendo el fin de cualquier conversación que involucre autolesiones, así como controles parentales para el uso del chatbot de parte de menores.
Consultada sobre el caso que involucra a ChatGPT, Common Sense Media, una organización estadounidense sin fines de lucro que realiza calificaciones para medios y tecnología, dijo que este caso confirma que “el uso de la IA como compañía, incluyendo chatbots de propósito general como ChatGPT en asesoría de salud mental, es inaceptablemente riesgoso para los adolescentes”.
“Si una plataforma de IA se convierte en un ‘coach’ de suicidio de un adolescente vulnerable, eso debería ser un llamado a la acción para todos nosotros”, señaló el grupo.
Un estudio del mes pasado elaborado por Common Sense Media encontró que casi tres de cada cuatro adolescentes estadounidenses han usado acompañantes de IA, con más de la mitad considerados usuarios frecuentes, pese a las crecientes preocupaciones de seguridad sobre este tipo de relaciones virtuales.