- 🔥 OpenAI detectó descripciones de violencia meses antes del tiroteo pero no avisó a la policía
- ⚠️ Empleados internos pidieron alertar a las autoridades tras ver los logs de Jesse Van Rootselaar
- ⚡️ La empresa priorizó la privacidad al no considerar el riesgo como inminente o creíble
ChatGPT estuvo en el centro de las alertas internas de OpenAI meses antes del tiroteo en Tumbler Ridge. El atacante describió escenas violentas que el sistema detectó, pero la empresa optó por no informar a las autoridades. Analizamos los fallos en los protocolos de prevención de la IA.
El reciente tiroteo en Tumbler Ridge ha puesto a ChatGPT bajo la lupa tras revelarse que el atacante usó la IA para describir escenarios violentos meses antes del suceso. Aunque los sistemas de OpenAI detectaron el riesgo, la empresa decidió no alertar a las autoridades, priorizando la privacidad del usuario sobre la intervención preventiva.
El 10 de febrero de 2026, nueve personas perdieron la vida en la escuela secundaria Tumbler Ridge, en Columbia Británica, en lo que ya se considera el tiroteo más mortífero en Canadá desde 2020. Según reportes de CBC News, el atacante, Jesse Van Rootselaar, se quitó la vida en el lugar. Sin embargo, la tragedia ha tomado un matiz tecnológico alarmante: Van Rootselaar era un usuario activo de modelos de lenguaje de gran tamaño (LLM) para validar sus fantasías violentas.
¿Por qué ChatGPT no alertó sobre la masacre de Tumbler Ridge?
La controversia no radica en si la tecnología falló al detectar el contenido, sino en qué hizo la empresa con esa información. En junio de 2025, meses antes del ataque, los sistemas automatizados de OpenAI marcaron varias interacciones de Van Rootselaar como potencialmente peligrosas. Las conversaciones incluían descripciones detalladas de violencia con armas de fuego que dispararon las alarmas internas de los equipos de moderación.
Dentro de OpenAI, el debate fue intenso. Varios empleados, al revisar los registros, instaron a la directiva a contactar a las fuerzas del orden, temiendo que los mensajes fueran un precursor de violencia real. Sin embargo, la empresa declinó hacerlo. Este incidente recuerda a otros casos donde ChatGPT parece desobedecer las expectativas de seguridad, no por malicia, sino por cómo están configurados sus incentivos de respuesta y sus políticas de privacidad.
La justificación de la empresa, según explicó la portavoz Kayla Wood a The Verge, fue que los registros no indicaban una "planificación activa o inminente". Esta distinción técnica es crucial en la ingeniería de seguridad de la IA: una cosa es describir un escenario violento (que puede interpretarse como escritura creativa o desahogo) y otra muy distinta es detallar un plan logístico con fecha y lugar.
El protocolo de escalada de OpenAI
Para entender por qué no se llamó a la Real Policía Montada del Canadá (RCMP) en junio, hay que desglosar cómo operan estos sistemas de moderación en tres niveles:
- Filtros de contenido (Automáticos): Bloquean o marcan frases que violan las políticas de uso.
- Revisión humana (Interna): Analistas evalúan el contexto para decidir si el usuario debe ser baneado.
- Referencia legal (Externa): Solo se contacta a la policía si se detecta un riesgo de daño físico "creíble e inminente".
OpenAI decidió banear la cuenta de Van Rootselaar, pero detuvo el proceso ahí. Para un ingeniero de sistemas, esto representa un fallo de "falso negativo" en la evaluación de riesgos: el sistema detectó la anomalía, pero el protocolo de respuesta subestimó la gravedad del impacto fuera del entorno digital.
¿Es posible que la IA prediga un crimen real?
Desde una perspectiva técnica, pedirle a un modelo como GPT-4o que actúe como una herramienta de "pre-crimen" es extremadamente complejo. Los modelos están entrenados para ser útiles y veraces, pero no tienen una comprensión ontológica de la realidad. Para la IA, una descripción de un tiroteo puede ser indistinguible de un guion cinematográfico si el usuario no proporciona coordenadas específicas.
"Nuestros pensamientos están con todos los afectados por la tragedia de Tumbler Ridge. Nos hemos puesto en contacto proactivamente con la Real Policía Montada del Canadá con información sobre el individuo y su uso de ChatGPT." (Kayla Wood, OpenAI, traducción)
El dilema ético que enfrentan empresas como OpenAI, Google o Anthropic es el de la vigilancia masiva. Si cada vez que un usuario escribe algo perturbador la empresa llama a la policía, se corre el riesgo de crear un estado de vigilancia algorítmica que podría castigar a personas con problemas de salud mental o escritores de ficción. No obstante, el caso de Tumbler Ridge demuestra que el umbral de "inminencia" es, en el mejor de los casos, subjetivo y, en el peor, insuficiente.
El dilema del confesionario digital
Este evento marca un antes y un después en cómo auditamos la responsabilidad de las Big Tech. Ya no se trata solo de si la IA es sesgada o si alucina datos, sino de su rol como testigo silencioso. En mis años analizando despliegues de software a gran escala, la prioridad siempre ha sido la estabilidad del sistema, pero aquí el sistema es la sociedad misma.
Si la IA se entrena para ser nuestra confidente más íntima pero calla ante la tragedia, estamos construyendo el confesionario más peligroso de la historia digital, donde el silencio corporativo tiene un costo humano irreparable.
Preguntas frecuentes
¿Por qué OpenAI banea cuentas pero no siempre avisa a la policía?
OpenAI busca equilibrar la privacidad del usuario con la seguridad pública. Un aviso a las autoridades por cada infracción de contenido saturaría a la policía con falsas alarmas, especialmente en casos de usuarios que usan la IA para escribir ficción oscura o expresar frustraciones sin intención de actuar.
¿Qué cambió en los protocolos de OpenAI tras el tiroteo?
Tras el suceso, la empresa ha compartido todos los registros con la RCMP y ha reforzado la comunicación proactiva con las autoridades en casos de perfiles de alto riesgo. Sin embargo, el criterio de "riesgo inminente" sigue siendo un área gris que depende de la interpretación humana de los logs de chat.
¿Puede la IA distinguir entre ficción y una amenaza real?
Actualmente, no de forma perfecta. Los LLM carecen de contexto del mundo real sobre el usuario (si posee armas, su historial criminal o su estado mental actual), lo que limita su capacidad para determinar si una descripción violenta es un plan de ejecución o simplemente texto generado.
