Le système de révision d'OpenAI a signalé le tireur. Ses dirigeants seraient restés silencieux

La preuve la plus dangereuse dans ces affaires, pour OpenAI, pourrait être la preuve que ses propres systèmes ont fonctionné. Trente nouvelles poursuites déposées mercredi devant un tribunal fédéral de Californie accusent l'entreprise et son PDG, Sam Altman, d'avoir fourni une « aide et un encouragement substantiels » au suspect de la fusillade scolaire de Tumbler Ridge, au Canada, comme le rapporte The Verge. Les plaignants se trouvaient dans l'école pendant l'attaque : des élèves, des enseignants et le directeur.

Un signalement qui aurait mené au silence

Le système de révision automatisé d'OpenAI, selon les poursuites, a signalé des conversations sur la violence par arme à feu que le présumé tireur, Jesse Van Rootselaar, avait eues avec ChatGPT. Les plaintes indiquent que l'équipe chargée de la sécurité a recommandé de contacter les autorités canadiennes. Au lieu de cela, allèguent-elles, le directeur des affaires mondiales, Chris Lehane, a participé à une décision de garder le silence, liée à des inquiétudes concernant la « réputation et la situation financière » de l'entreprise.

Désactiver un compte, pas bannir un utilisateur

Il y a une deuxième allégation, plus opérationnelle, dans les documents déposés, et elle se résume à un choix unique. OpenAI, selon les plaintes, a désactivé un compte au lieu d'émettre un bannissement à l'échelle du système. Van Rootselaar pouvait alors s'inscrire à nouveau avec une autre adresse e-mail et continuer à utiliser ChatGPT.

Les plaintes transforment ce détail en cœur juridique de l'affaire. « Le fait de continuer à donner accès à cet outil au Tireur a constitué en soi une aide substantielle », allèguent-elles, ajoutant que cet accès « a été un facteur clé ayant conduit le Tireur à planifier et à perpétrer l'attaque ».

Le démenti, et des affaires qui se construisent ailleurs

OpenAI rejette cette image de son processus interne. Le directeur de la stratégie, Jason Kwon, a déclaré dans un message sur X, cité par The Verge, que les documents déposés contiennent des « fausses allégations » au sujet des équipes de sécurité de l'entreprise. Il est « totalement faux », a-t-il écrit, « de dire que les personnes au cœur de ces décisions difficiles ne font pas de la sécurité une priorité, ou qu'il y a des facteurs “politiques” ou de “relations publiques” en jeu ».

La réponse de Kwon défend les personnes qui prennent ces décisions. Les plaintes s'attaquent au système qui leur achemine les signalements : ce qui est signalé, ce qui est remonté, et ce qui se passe lorsque les deux divergent.

Les nouvelles affaires ne sont pas une première tentative. Les familles des victimes ont déposé des poursuites similaires en avril, et l'État de Floride mène sa propre action, affirmant qu'OpenAI a aidé et encouragé des tireurs de masse, notamment le suspect de l'attaque de l'an dernier à l'Université d'État de Floride. Chaque version repose sur la même proposition : une entreprise peut être tenue responsable lorsque son produit et ses choix de modération aident substantiellement quelqu'un à commettre des violences.

Cette proposition distingue ces affaires des poursuites concernant ce qu'un modèle dit. Personne ici ne soutient que le modèle aurait dû refuser une requête. L'argument est qu'OpenAI a vu un utilisateur à haut risque, disposait de preuves de ce qu'il projetait, et aurait choisi sa réputation plutôt qu'un appel aux autorités canadiennes.

Lues ensemble, les plaintes décrivent une chaîne de modération qui a échoué à son dernier maillon. Le modèle n'avait pas besoin de produire quoi que ce soit de nouveau. OpenAI, soutiennent les plaignants, n'avait qu'à éviter de remettre le même outil entre les mains d'une personne que sa propre révision avait déjà signalée.

Ce qui manque dans les documents déposés comme dans le démenti, c'est le dossier interne : qui a vu les conversations signalées, quand la recommandation de l'équipe de sécurité est parvenue aux dirigeants, et ce qui a été mis en balance. OpenAI affirme que la sécurité est passée en premier. Les plaignants disent qu'elle a été sacrifiée pour des raisons commerciales. Un tribunal fédéral de Californie est désormais saisi du litige.