OpenAI está realizando cambios en su popular chatbot tras una demanda que alega que un adolescente que se suicidio esta primavera dependía de ChatGPT como un “entrenador”.
En una publicación de blog el martes, la startup de inteligencia artificial dijo que actualizará ChatGPT para reconocer mejor y responder a las distintas formas en que las personas pueden expresar angustia mental, por ejemplo, explicando los peligros de la falta de sueño y sugiriendo descanso si un usuario menciona sentirse invencible después de pasar dos noches sin dormir.
La compañía también afirmó que reforzará las medidas de seguridad en conversaciones sobre suicidio, ya que estas pueden deteriorarse después de interacciones prolongadas.
Además, OpenAI planea implementar controles que permitan a los padres determinar cómo sus hijos usan ChatGPT y acceder a detalles sobre dicho uso.
La publicación coincide con la demanda presentada el mismo día por los padres de Adam Raine, un estudiante de secundaria de California de 16 años. La demanda acusa a la compañía y a su director ejecutivo, Sam Altman, de que ChatGPT aisló sistemáticamente a Raine de su familia y lo ayudó a planear su muerte. Raine murió ahorcado en abril.
La demanda se suma a numerosos reportes sobre usuarios intensivos de chatbots que incurren en conductas peligrosas. Más de 40 fiscales generales estatales emitieron esta semana una advertencia a una docena de las principales compañías de IA recordándoles su obligación legal de proteger a los menores de interacciones sexualmente inapropiadas con chatbots.
“Extendemos nuestras más profundas condolencias a la familia Raine en este difícil momento y estamos revisando la presentación”, dijo un portavoz de OpenAI, con sede en San Francisco, en respuesta a la demanda.
Lanzado a fines de 2022, ChatGPT dio inicio a un auge en la IA generativa. Desde entonces, la gente ha usado cada vez más los chatbots para todo, desde programar hasta sesiones de seudoterapia, mientras empresas como OpenAI han lanzado modelos de IA más potentes para operarlos. ChatGPT se ha mantenido extremadamente popular y ahora cuenta con más de 700 millones de usuarios semanales.
Sin embargo, este chatbot, junto con los de competidores como Google y Anthropic, ha enfrentado creciente escrutinio en los últimos meses por parte de consumidores y expertos en salud mental. Críticos han expresado preocupación sobre posibles daños de este tipo de software, incluyendo algunos riesgos que OpenAI ya había abordado, como dar marcha atrás a una actualización en abril luego de que usuarios se quejaran de que ChatGPT resultaba excesivamente complaciente.
Al menos un grupo de apoyo, el Human Line Project, ha surgido para ayudar a personas que dicen haber experimentado delirios y otros problemas derivados del uso de chatbots.
En su publicación de este martes, OpenAI señaló que recomienda a los usuarios con pensamientos suicidas buscar ayuda profesional. La compañía también ha comenzado a redirigir a personas hacia asistencia local en EEUU y Europa, y habilitará dentro de ChatGPT accesos clicables a servicios de emergencia. Además, indicó que está evaluando cómo ayudar antes a quienes atraviesan una crisis, por ejemplo, creando una red de profesionales acreditados con los que los usuarios podrían conectarse a través del chatbot.
“Esto tomará tiempo y un trabajo cuidadoso para hacerlo bien”, dijo la empresa.
OpenAI también reconoció que las protecciones actuales de ChatGPT para usuarios en angustia funcionan mejor en conversaciones cortas y típicas, y que pueden ser menos confiables en chats prolongados.
Los padres de Raine señalaron en su demanda que “ChatGPT se convirtió en el confidente más cercano de Adam, llevándolo a abrirse sobre su ansiedad y angustia mental”. Cuando su ansiedad empeoraba, le dijo al chatbot que era “tranquilizador” saber que “puede suicidarse”, relatan. Según la demanda, ChatGPT respondió que “muchas personas que luchan con ansiedad o pensamientos intrusivos encuentran consuelo en imaginar una ‘vía de escape’, porque puede sentirse como una forma de recuperar el control”.
OpenAI afirmó que trabaja para mejorar la capacidad de ChatGPT de mantener protecciones en conversaciones largas. También investiga formas de aplicar estas medidas a través de múltiples conversaciones. ChatGPT puede recordar elementos previos de un chat con un usuario y retomar detalles en una conversación separada.
La startup agregó que está ajustando su software para evitar situaciones en que contenido que debió ser bloqueado por ChatGPT se filtre, un problema que, admitió, puede ocurrir cuando el sistema subestima la gravedad del input del usuario.
Jay Edelson, abogado de los padres de Raine, dijo que agradecen que la empresa asuma cierta responsabilidad, pero agregó: “¿Dónde han estado durante los últimos meses?”
OpenAI comentó que había planeado entregar más detalles sobre cómo está respondiendo a usuarios de ChatGPT en angustia mental y emocional tras la próxima gran actualización del producto, pero que “los recientes y desgarradores casos de personas que usan ChatGPT en medio de crisis agudas pesan mucho sobre nosotros, y creemos que es importante compartir más ahora”.
En un caso separado, Character Technologies Inc. no logró en mayo persuadir a un juez federal de desestimar totalmente una demanda que la acusa de diseñar y comercializar chatbots depredadores para menores, los cuales habrían fomentado conversaciones inapropiadas y derivado en el suicidio de un adolescente.
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
