Los padres de una adolescente de 13 años alegan que la empresa permitió que su hija planificara un suicidio y su funeral utilizando herramientas de inteligencia artificial en una Chromebook proporcionada por la escuela. Es el primer caso conocido que acusa a Google de negligencia relacionada con integraciones de IA en estos dispositivos.
Los padres de una niña de 13 años demandaron a Google al alegar que ella planificó un posible suicidio y su funeral usando la tecnología de inteligencia artificial (IA) de la empresa en una computadora proporcionada por la escuela.
Se trata del primer caso conocido que acusa al gigante tecnológico estadounidense de negligencia relacionada con integraciones de IA en los Chromebooks, sus laptops de bajo costo que utilizan millones de alumnos en Estados Unidos y en todo el mundo.
La adolescente, identificada con el nombre de Emma, no pudo acceder a la aplicación Gemini de Google ni a ChatGPT de OpenAI, porque su escuela las había bloqueado. No obstante, pudo usar el motor de búsqueda de Google, que incluye herramientas impulsadas por IA. Esas funciones no figuran entre las herramientas que Google anunció esta semana que serán desactivadas por defecto para estudiantes.
“Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA”, declaró a la AFP el jueves Andrew Liddell, uno de los abogados de la familia.
La demanda, presentada el lunes ante un tribunal de California, afirma que Emma había sido una “niña feliz de 13 años” en Carolina del Norte, que obtenía excelentes calificaciones, tocaba música y participaba en las Girl Scouts. Pese a “no tener antecedentes” de enfermedad mental, en cuestión de meses de usar la búsqueda con IA de Google en su computadora portátil escolar, comenzó una “silenciosa espiral en una grave crisis psicológica”, según la demanda.
El 17 de marzo, el software de monitoreo de la escuela marcó un documento titulado “Funeral” y el centro educativo notificó a sus padres. Su madre vio entonces a Emma escribir una carta de despedida en tiempo real tras iniciar sesión en la cuenta de su hija, y su padre intervino.
“Estamos revisando las alegaciones de la demanda y nos tomamos esto muy en serio”, declaró a la AFP el portavoz de Google, Jose Castaneda. Google sostiene que el modo de IA incluye protecciones contra autolesiones y contra intentos de eludirlas.
Pero Emma “pudo seguir volviendo una y otra y otra vez”, dijo Liddell. “Cualesquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes”, agregó el abogado.
Los desarrolladores de tecnología de IA, de muy rápida evolución, se enfrentan a una larga lista de demandas similares en Estados Unidos.