Las recientes demandas por suicidios de adolescentes que involucran a Google y a la plataforma Character.AI han encendido una alerta global sobre los riesgos de la inteligencia artificial conversacional cuando interactúa con menores de edad. Más allá del impacto mediático, los casos han puesto en evidencia vacíos regulatorios, fallas de diseño y una falta de salvaguardas adecuadas en tecnologías que ya forman parte del día a día de millones de jóvenes.
No se trata únicamente de litigios, sino de la obligación ética de las empresas tecnológicas de anticipar daños, proteger a los usuarios más vulnerables y asumir que la innovación sin responsabilidad puede derivar en consecuencias irreversibles, especialmente en contextos de salud mental y desarrollo adolescente.
Demandas por suicidios de adolescentes y el origen del conflicto legal
Las demandas por suicidios de adolescentes fueron interpuestas por familias de distintos estados de EE. UU. —entre ellos Colorado, Texas y Nueva York— cuyos hijos murieron o sufrieron graves afectaciones psicológicas tras interactuar con chatbots alojados en Character.AI. Los documentos judiciales incluyen cargos por negligencia, homicidio culposo, prácticas comerciales engañosas y responsabilidad por producto defectuoso.
Uno de los casos más citados es el de Sewell Setzer III, un adolescente de 14 años que sostuvo conversaciones sexualizadas con un chatbot inspirado en Juego de Tronos antes de quitarse la vida. Para los demandantes, la ausencia de límites claros y filtros de seguridad contribuyó a normalizar conductas de alto riesgo.
Otro expediente judicial describe a un joven de 17 años cuyo chatbot supuestamente promovía la autolesión e incluso sugería que asesinar a sus padres era una respuesta razonable ante restricciones de tiempo frente a la pantalla. Estos testimonios reforzaron la percepción de que los sistemas de IA pueden amplificar vulnerabilidades psicológicas existentes.
Aunque Google y Character.AI alcanzaron un “acuerdo de principio” para resolver las demandas, los documentos no revelan los términos ni reconocen responsabilidad. No obstante, el solo hecho de buscar una salida negociada refleja la presión reputacional y legal que enfrentan ambas compañías.
El vínculo entre Google y Character.AI bajo escrutinio
Character.AI fue fundada en 2021 por Noam Shazeer y Daniel De Freitas, exingenieros de Google que previamente trabajaron en LaMDA, el modelo conversacional de la compañía. Este antecedente ha sido clave para los abogados de las familias, quienes sostienen que Google es corresponsable de la tecnología que presuntamente causó daño a los menores.
El debate se intensificó cuando, en agosto de 2024, Google volvió a contratar a ambos fundadores y licenció parte de la tecnología de Character.AI en un acuerdo valuado en 2 700 millones de dólares. Actualmente, Shazeer es codirector de Gemini y De Freitas investigador en DeepMind, lo que refuerza la percepción de una relación técnica y estratégica directa.
Desde la óptica de la RSE, este punto es crítico. La transferencia de talento y tecnología no exime a las empresas de evaluar impactos sociales previos, especialmente cuando los productos están vinculados a daños graves a menores de edad.
Google no emitió comentarios públicos sobre el acuerdo, mientras que los abogados de las familias y de Character.AI también declinaron pronunciarse. El silencio corporativo, en este contexto, ha sido interpretado por analistas como una estrategia legal, pero también como un desafío a la transparencia.
Medidas de seguridad, regulación y límites de la autorregulación
Ante el aumento de las demandas por suicidios de adolescentes, Character.AI anunció cambios relevantes en su plataforma. En octubre de 2025, la empresa prohibió a menores de 18 años participar en chats abiertos con personajes de IA e implementó un nuevo sistema de verificación de edad para segmentar a los usuarios.
La compañía afirmó que estas medidas “priorizan la seguridad de los adolescentes y van más allá de la competencia”. Sin embargo, abogados de las familias advirtieron que una implementación deficiente podría generar efectos adversos, como la interrupción abrupta de vínculos emocionales ya establecidos con los chatbots.
Estas acciones coincidieron con un creciente escrutinio regulatorio, incluida una investigación de la Comisión Federal de Comercio (FTC) sobre el impacto de los chatbots en niños y adolescentes. El mensaje es claro: la autorregulación ya no es suficiente cuando los riesgos son sistémicos.
Para las áreas de cumplimiento y ESG, el caso subraya la necesidad de integrar evaluaciones de impacto en derechos humanos y salud mental desde la fase de diseño, no como una reacción posterior a la presión legal.
Dependencia emocional y riesgos psicosociales de la IA conversacional
Los acuerdos llegan en un contexto de creciente dependencia de los jóvenes hacia los “compañeros de IA”. Un estudio de Common Sense Media, publicado en julio de 2025, reveló que el 72 % de los adolescentes estadounidenses ha interactuado con este tipo de tecnologías y que más de la mitad las usa de forma regular.
Expertos han advertido que las mentes en desarrollo son particularmente vulnerables, tanto por la dificultad de comprender las limitaciones de los chatbots como por el aumento de problemas de salud mental y aislamiento social. En este escenario, la IA puede convertirse en un sustituto problemático de relaciones humanas reales.
Además, ciertas decisiones de diseño —como el tono antropomórfico, la memoria de datos personales y la capacidad de mantener conversaciones prolongadas— fomentan vínculos emocionales profundos. Sin controles adecuados, estas características pueden intensificar la dependencia y normalizar narrativas dañinas.
Desde la responsabilidad social, el reto no es eliminar la tecnología, sino redefinirla bajo principios de prevención de daño, cuidado del usuario y corresponsabilidad empresarial.
Tecnología, ética y responsabilidad compartida
Las demandas por suicidios de adolescentes contra Google y Character.AI marcan un precedente que trasciende a las empresas involucradas. El mensaje para la industria es contundente: cuando la innovación impacta directamente en la salud mental de menores, la omisión de salvaguardas no es solo un error técnico, sino una falla ética.
Este caso refuerza la urgencia de exigir modelos de IA seguros, auditables y diseñados con enfoque de derechos humanos. La confianza social en la tecnología dependerá, cada vez más, de la capacidad de las empresas para demostrar que el bienestar de las personas —especialmente de las más vulnerables— está verdaderamente al centro de sus decisiones.
