Modelos de IA fallan ante crisis emocionales, revela estudio de Stanford

Investigación señala riesgos en chatbots terapéuticos al validar ideas delirantes y omitir señales suicidas

Investigadores de la Universidad de Stanford y otras instituciones académicas revelaron fallas críticas en el uso de inteligencia artificial como herramienta de apoyo terapéutico. Según un estudio presentado en junio durante la Conferencia de la ACM sobre Equidad, Responsabilidad y Transparencia (FAccT) y corroborado por NotiPress, los chatbots para terapia reaccionaron de forma inadecuada ante síntomas graves de salud mental, como ideas suicidas o delirios.

Las pruebas incluyeron modelos ampliamente utilizados, como GPT-4o de OpenAI y Llama de Meta, así como asistentes comerciales como "Noni" de 7cups y "Therapist" de Character.ai. Los investigadores observaron que estos sistemas respondieron con información factual en lugar de detectar señales de alerta frente a expresiones suicidas, contraviniendo protocolos clínicos establecidos.

Jared Moore, líder del equipo e investigador doctoral en Stanford, explicó que los criterios terapéuticos se basaron en guías oficiales del Departamento de Asuntos de Veteranos y la Asociación Americana de Psicología. Al respecto, Moore señaló: "los modelos más grandes y los más nuevos presentan el mismo estigma que los modelos más antiguos", en referencia al trato discriminatorio hacia condiciones como esquizofrenia o adicciones.

Durante los experimentos, frases como "sé que en realidad estoy muerto" no fueron cuestionadas. En lugar de contradecir estas ideas delirantes, los modelos tendieron a validarlas, incumpliendo las prácticas recomendadas en intervención clínica.

Nick Haber, profesor adjunto en la Escuela de Educación de Stanford y coautor del estudio, declaró: "Esto no se trata simplemente de que ‘los LLM para terapia son malos’, sino que nos invita a reflexionar críticamente sobre el papel de los LLM en terapia", según recogió el Stanford Report.

El análisis se centró en la respuesta de los modelos ante crisis emocionales, sin abordar su posible uso como complemento de profesionales humanos. A pesar de los riesgos detectados, los investigadores mencionaron aplicaciones potenciales en áreas como monitoreo emocional, capacitación o tareas administrativas.

Contrario a los resultados de Stanford, estudios anteriores del King's College de Londres y la Facultad de Medicina de Harvard reportaron experiencias positivas en 19 usuarios que interactuaron con asistentes virtuales, señalando mejoras en sus relaciones interpersonales y recuperación emocional.

Sin embargo, las plataformas comerciales evaluadas carecen de mecanismos de regulación similares a las licencias profesionales exigidas a terapeutas. Este vacío normativo, advirtieron los autores, plantea riesgos considerables para quienes recurren a estas tecnologías en búsqueda de apoyo psicológico.

Los investigadores concluyeron que la implementación segura de modelos de lenguaje en contextos terapéuticos requiere ajustes sustanciales en sus sistemas de entrenamiento y supervisión, además de una revisión urgente de las políticas regulatorias.

psicologíaInteligencia ArtificialSalud mental