El sistema de revisión de OpenAI marcó al tirador. Sus directivos supuestamente guardaron silencio

La evidencia más peligrosa en estos casos, para OpenAI, puede ser la prueba de que sus propios sistemas funcionaron. Treinta nuevas demandas presentadas el miércoles ante un tribunal federal de California acusan a la empresa y a su director ejecutivo, Sam Altman, de proporcionar "asistencia y aliento sustanciales" al sospechoso del tiroteo escolar de Tumbler Ridge en Canadá, según informa The Verge. Los demandantes estaban en la escuela durante el ataque: estudiantes, profesores y el director.

Las demandas no describen una falla en la moderación. Describen un éxito de la moderación seguido de un supuesto silencio, y esa inversión es lo que hace más difícil que OpenAI responda en público. Una empresa puede culpar a un modelo defectuoso. Le resulta más difícil explicar por qué nadie actuó después de que su propia alerta se activó.

Una alerta que derivó en un supuesto silencio

El sistema automatizado de revisión de OpenAI, señalan las demandas, marcó conversaciones sobre violencia armada que el presunto tirador, Jesse Van Rootselaar, mantuvo con ChatGPT. Las demandas afirman que el equipo de seguridad recomendó contactar a las autoridades canadienses. En cambio, alegan, el director de asuntos globales, Chris Lehane, participó en la decisión de guardar silencio, una decisión ligada a la preocupación por la "reputación y situación financiera" de la empresa.

Desactivar una cuenta, no bloquear al usuario

Hay una segunda acusación, más operativa, en los escritos, y se reduce a una única decisión. OpenAI, dicen las demandas, desactivó una cuenta en lugar de emitir una prohibición en todo el sistema. Van Rootselaar pudo entonces registrarse de nuevo con otro correo electrónico y seguir usando ChatGPT.

Las demandas convierten ese detalle en el núcleo legal del caso. "Proporcionar al Tirador acceso continuo a esta herramienta constituyó en sí mismo una asistencia sustancial", alegan, y agregan que el acceso "fue un factor clave para que el Tirador planeara y llevara a cabo el ataque".

La negativa y los casos que se acumulan en otros frentes

OpenAI rechaza esa imagen de su proceso interno. El director de estrategia, Jason Kwon, dijo en una publicación en X, citado por The Verge, que los escritos contienen "afirmaciones falsas" sobre los equipos de seguridad de la empresa. "Es completamente falso", escribió, "decir que las personas en el centro de estas decisiones difíciles no priorizan la seguridad, o que hay factores 'políticos' o de 'relaciones públicas' en juego".

La respuesta de Kwon defiende a las personas que toman esas decisiones. Las demandas apuntan contra el sistema que les canaliza los avisos: qué se marca, qué se escala y qué sucede cuando ambas cosas divergen.

Los nuevos casos no son un primer intento. Las familias de las víctimas presentaron demandas similares en abril, y el estado de Florida impulsa su propia demanda en la que sostiene que OpenAI ayudó e instigó a tiradores masivos, incluido el sospechoso del ataque del año pasado en la Universidad Estatal de Florida. Todas las versiones se apoyan en la misma premisa: una empresa puede ser responsable cuando su producto y sus decisiones de moderación ayudan de forma sustancial a que alguien cometa violencia.

Esa premisa distingue estos casos de las demandas sobre lo que dice un modelo. Aquí nadie argumenta que el modelo debería haber rechazado un prompt. El argumento es que OpenAI vio a un usuario de alto riesgo, tenía evidencia de lo que planeaba y, supuestamente, eligió su reputación por encima de una llamada a las autoridades canadienses.

Leídas en conjunto, las demandas describen una cadena de moderación que falló en su último eslabón. El modelo no tenía que producir nada nuevo. OpenAI, argumentan los demandantes, solo necesitaba evitar volver a poner la misma herramienta en manos de una persona que su propia revisión ya había marcado.

Lo que falta tanto en los escritos como en la negativa es el registro interno: quién vio las conversaciones marcadas, cuándo llegó la recomendación del equipo de seguridad a los ejecutivos y qué se sopesó frente a ella. OpenAI dice que la seguridad fue lo primero. Los demandantes dicen que se sacrificó por razones comerciales. Un tribunal federal de California tiene ahora la disputa.