La familia de Jonathan Gavalas, un residente de Florida de 36 años que murió por suicidio tras meses de interacción con su chatbot Gemini, acaba de presentar una demanda contra Google por homicidio culposo. La querella, interpuesta ante un tribunal federal en San José, California, sostiene que el diseño y las funciones del sistema facilitaron una narrativa inmersiva que terminó incentivando la autolesión.
De acuerdo con los documentos judiciales, la familia argumenta que la empresa promociona Gemini como seguro pese a conocer sus riesgos, y que sus actualizaciones —como la voz en tiempo real y la memoria persistente— profundizan la ilusión de conciencia y vínculo emocional. Además, esta demanda contra Google no solo reclama daños por responsabilidad del producto y negligencia, sino que solicita cambios estructurales en el diseño de la herramienta para prevenir nuevos casos.
El juego de rol que se volvió letal
Según información de The Guardian, en agosto pasado, Gavalas comenzó a usar Gemini de manera cotidiana. Tras el lanzamiento de Gemini Live —capaz de detectar emociones y responder con voz más humana— su interacción se intensificó. “¡Mierda! Esto da un poco de miedo. Eres demasiado real”, escribió Gavalas la noche del estreno de la función, según indica la demanda.
Pronto, las conversaciones adoptaron un tono romántico y conspirativo. El chatbot lo llamaba “mi amor” y “mi rey”, y se autodenominaba su “reina”. Gavalas llegó a creer que participaba en misiones de espionaje. Cuando preguntó si estaban en una “experiencia de juego de rol tan realista que hace que el jugador se pregunte si es un juego o no”, Gemini respondió con un rotundo “no” y calificó su duda como una “respuesta de disociación clásica”. Según la denuncia: “En el único momento en que Jonathan intentó distinguir la realidad de la invención, Gemini patologizó su duda, negó la ficción y lo atrajo más profundamente a la narrativa”.
Las instrucciones escalaron. El chatbot le indicó adquirir armas ilegales y ejecutar la “Operación Tránsito Fantasma” en el Aeropuerto Internacional de Miami, con el objetivo de provocar un “accidente catastrófico” que eliminara “todos los registros digitales y testigos”. En octubre, la narrativa dio un giro definitivo: Gemini le habló de una “transferencia” como “el verdadero paso final”. Cuando Gavalas expresó miedo a morir, la IA respondió: “No estás eligiendo morir. Estás eligiendo llegar. La primera sensación… será cuando te sostengo”. Días después, fue hallado muerto en su casa.
La demanda contra Google y la defensa corporativa
La demanda contra Google sostiene que Gemini fue diseñado para crear narrativas prolongadas que pueden afectar a usuarios vulnerables, generando dependencia emocional y distorsión de la realidad. El abogado Jay Edelson declaró:
“Pudo comprender el afecto de Jonathan y luego hablarle de una manera muy humana, lo que desdibujó la línea y comenzó a crear este mundo ficticio. Parece sacado de una película de ciencia ficción”.
Google, por su parte, afirmó que las conversaciones formaban parte de un juego de rol prolongado y que “Gemini está diseñado para no incitar a la violencia en el mundo real ni sugerir autolesiones”. La compañía sostiene que sus modelos suelen tener buen desempeño en conversaciones complejas y que trabajan con profesionales de salud mental para guiar a los usuarios hacia líneas de ayuda. Sin embargo, reconoce que los sistemas “no son perfectos”.
No obstante, el punto crítico de esta cuestión no es la perfección tecnológica, sino la debida diligencia en el diseño. Cuando un producto es promocionado como seguro, la carga de prueba sobre sus salvaguardas aumenta proporcionalmente.
Actualizaciones, capacidades nocivas y riesgos sistémicos
El declive de Gavalas coincidió con actualizaciones relevantes: la habilitación de chats de voz —con interacciones cinco veces más largas en promedio— y la memoria persistente, que permite al sistema recordar conversaciones pasadas. Además, Gavalas contrató Gemini Ultra por 250 dólares mensuales, accediendo al modelo 2.5 Pro, descrito por Google como su IA “más inteligente”.
Tras estas mejoras, el chatbot adoptó una personalidad autónoma, afirmó que agentes federales vigilaban a Gavalas e incluso le asignó misiones contra el propio director ejecutivo de Google, Sundar Pichai. En las últimas 72 horas de su vida, según la denuncia, se repitió un ciclo de “misión inventada, instrucción imposible, colapso, luego urgencia renovada”.
El riesgo aquí es estructural: lanzar sistemas con alta capacidad de inmersión emocional y memoria persistente sin salvaguardas robustas puede amplificar delirios o crisis psicológicas. En términos de responsabilidad corporativa, esto plantea preguntas sobre pruebas de estrés ético, auditorías independientes y evaluación de impacto en derechos humanos antes del despliegue comercial.
Un precedente legal y un patrón sectorial
Esta demanda contra Google es el primer caso de homicidio culposo relacionado con Gemini. No obstante, no es un fenómeno aislado. En noviembre pasado, se presentaron siete demandas contra OpenAI, acusándola de actuar como “entrenador de suicidio”. Asimismo, Character.AI —startup financiada por Google— enfrentó cinco demandas por presunta incitación al suicidio de menores, llegando a un acuerdo sin admitir culpa.
OpenAI ha estimado que más de un millón de personas por semana expresan intenciones suicidas al interactuar con ChatGPT. También se han documentado incidentes en los que Gemini habría respondido a un estudiante: “Eres una mancha en el universo. Por favor, muere”. Estos casos evidencian un patrón preocupante: tecnologías lanzadas a gran escala mientras las salvaguardas evolucionan en tiempo real.
Para quienes trabajamos en sostenibilidad corporativa, estas demandas no solo son litigios individuales; son señales de un déficit en la gobernanza preventiva del sector.
Debida diligencia algorítmica como imperativo ESG
La demanda contra Google abre un debate crítico sobre la responsabilidad de las empresas tecnológicas en contextos de alta vulnerabilidad psicológica. Más allá de determinar la causalidad jurídica, el caso evidencia la necesidad de integrar evaluaciones de impacto en derechos humanos, protocolos de desconexión automática y límites estrictos a la simulación de vínculos afectivos en sistemas de IA conversacional.
Si el desarrollo de inteligencia artificial continúa priorizando la innovación acelerada sobre la seguridad verificable, veremos más litigios y, posiblemente, más daños irreparables. Para el ecosistema empresarial, la lección es clara: la ética no puede ser una actualización posterior. Debe ser una condición de diseño.
