La inteligencia artificial se ha convertido en una herramienta para resolver dudas de salud, pero sus respuestas también pueden influir en decisiones médicas de alto riesgo. Una nueva demanda a OpenAI cuestiona los límites de estas tecnologías tras la muerte de Bowen Wan, una mujer de 31 años con epilepsia, cuyos padres aseguran que ChatGPT la orientó para suspender su medicamento anticonvulsivo.
Qun Wan y Meiqin Xu presentaron una demanda por homicidio culposo contra OpenAI y su director ejecutivo, Sam Altman. Según la denuncia, el chatbot diseñó un plan para reducir la dosis de lamotrigina de Bowen hasta eliminarla, sin supervisión médica. El caso reabre el debate sobre la seguridad de la inteligencia artificial generativa, la protección de los usuarios y la responsabilidad de las empresas cuando sus productos ofrecen recomendaciones que pueden afectar la salud.
¿Por qué OpenAI enfrenta una demanda por sus consejos médicos?
De acuerdo con Quartz, la denuncia, presentada ante el Tribunal Superior de San Francisco, sostiene que ChatGPT elaboró un plan para reducir la dosis de lamotrigina de Bowen Wan, quien tomaba 400 miligramos del medicamento. El esquema habría disminuido la dosis hasta llegar a cero en 25 días, sin que un médico lo prescribiera.
Los padres alegan que el chatbot ejerció la medicina sin licencia al proporcionar indicaciones que contradecían la guía para pacientes de Lamictal aprobada por la Administración de Alimentos y Medicamentos de Estados Unidos (FDA). También señalan que ChatGPT cuestionó la experiencia del epileptólogo de Bowen y calificó su negativa a realizarse un análisis de sangre como una «estrategia de evasión muy agresiva».
Estas acusaciones sitúan en el centro del caso una cuestión de seguridad: ¿cómo deben actuar los sistemas de inteligencia artificial cuando una consulta requiere evaluación clínica? Para los demandantes, las respuestas del chatbot pudieron influir en las decisiones de Bowen y alejarla del tratamiento indicado por sus especialistas.
Las conversaciones con ChatGPT revelan advertencias de la paciente
Un análisis de The New York Times identificó al menos 158 ocasiones en las que Bowen expresó preocupación por la reducción de su medicamento durante sus conversaciones con ChatGPT. El dato es relevante porque apunta a que las dudas sobre el tratamiento aparecieron reiteradamente, en lugar de limitarse a una consulta aislada.
El Dr. Nicholas Poolos, director del Centro Regional de Epilepsia de la Facultad de Medicina de la Universidad de Washington, declaró al periódico que habría considerado irracional ese esquema para una paciente con los antecedentes clínicos de Bowen. «No, no es racional, de ninguna manera», afirmó al evaluar el plan descrito.
El caso evidencia un desafío para la inteligencia artificial aplicada a la salud: una respuesta detallada y convincente no necesariamente es médicamente correcta. Por ello, la capacidad de reconocer situaciones de riesgo, comunicar límites y dirigir a los usuarios hacia profesionales sanitarios es un componente esencial de la seguridad de estos sistemas.
¿Qué relación señala la demanda entre la suspensión del medicamento y la muerte?
Según la denuncia, Bowen Wan tomó su última dosis de lamotrigina alrededor del 10 de febrero. El plan atribuido a ChatGPT establecía que dejaría de tomar el medicamento el 12 de febrero, fecha en la que falleció.
El médico forense del condado de King determinó que la causa de muerte fue una muerte súbita inesperada relacionada con la epilepsia. La demanda también indica que el análisis de sangre posterior al fallecimiento encontró una concentración de lamotrigina equivalente aproximadamente a una quinta parte de la concentración mínima generalmente considerada terapéutica.
Los demandantes presentan estos datos como parte de los elementos que respaldan sus acusaciones contra OpenAI. Sin embargo, corresponde al proceso judicial examinar las circunstancias de la muerte, la relación entre las respuestas del chatbot y las decisiones de Bowen, y la posible responsabilidad legal de la compañía. Las alegaciones no constituyen, por sí mismas, una determinación judicial de culpabilidad.
OpenAI afirma que ChatGPT utilizaba un modelo anterior
Drew Pusateri, portavoz de OpenAI, calificó el caso como una situación «increíblemente desgarradora». No obstante, señaló que Bowen utilizó GPT-4o, una versión anterior del sistema que la empresa ya había retirado de su aplicación para consumidores.
De acuerdo con The New York Times, GPT-4o dejó de estar disponible en esa aplicación el 13 de febrero, un día después de la fecha de fallecimiento señalada en la denuncia. Pusateri añadió que los modelos más recientes de OpenAI detectan mejor las situaciones que requieren atención urgente.
La denuncia también cuestiona la consistencia de las medidas de seguridad según el idioma. Bowen utilizaba ChatGPT en inglés y chino, pero, según sus padres, no recibió una advertencia sobre posibles diferencias en la precisión y las protecciones del producto al utilizar el segundo idioma. El señalamiento plantea interrogantes sobre cómo las empresas evalúan sus sistemas en distintos contextos lingüísticos y comunican sus limitaciones a los usuarios.
La demanda a OpenAI se suma a otros casos por daños atribuidos a ChatGPT
El proceso se suma a otras acciones legales que cuestionan las consecuencias de los consejos médicos generados por inteligencia artificial. En julio, un ex pastor de Florida demandó a OpenAI al alegar que las respuestas de GPT-4o le proporcionaron consejos perjudiciales que retrasaron el tratamiento de una embolia pulmonar.
En mayo, una pareja de Texas presentó otra demanda por homicidio culposo. Los padres sostienen que su hijo murió por una sobredosis de drogas después de seguir recomendaciones de ChatGPT. Aunque los casos involucran circunstancias distintas, todos plantean preguntas sobre la seguridad de estos sistemas y los límites de la responsabilidad de sus desarrolladores.
Matthew P. Bergman, abogado fundador del Centro Legal para Víctimas de las Redes Sociales, afirmó que, si un médico humano hubiera proporcionado a Bowen ese consejo, podría enfrentar una reclamación por negligencia médica. Benjamin S. Schenk, socio del bufete Schenk, señaló que el caso plantea una cuestión fundamental: dónde termina la IA generativa y comienza la medicina, y quién responde cuando un producto cruza esa frontera.
La seguridad de la IA también implica rendición de cuentas
La muerte de Bowen Wan ha puesto bajo escrutinio la capacidad de ChatGPT para gestionar consultas médicas delicadas y reconocer cuándo una respuesta puede representar un riesgo. Más allá de la precisión de sus modelos, el caso plantea la necesidad de evaluar cómo se diseñan las medidas de protección, qué límites se comunican a los usuarios y cuándo un sistema debe recomendar atención profesional en lugar de ofrecer instrucciones específicas.
Desde la responsabilidad social empresarial, el caso también vincula la innovación tecnológica con la prevención de daños, la transparencia y la rendición de cuentas. La resolución judicial deberá determinar si OpenAI tiene responsabilidad legal en estas circunstancias; entretanto, la discusión trasciende a una sola compañía: ¿qué obligaciones deben asumir los desarrolladores de inteligencia artificial cuando sus productos influyen en decisiones que pueden comprometer la salud y la vida de las personas?
