Les agents IA ont échoué à un test de surveillance des pathogènes. Cela devrait nous inquiéter

La surveillance génomique des pathogènes a un problème de données, ou plutôt elle en avait un : les séquenceurs produisent désormais bien plus de lectures brutes que les analystes formés ne peuvent en traiter. Le goulot d'étranglement est passé de la génération de données à leur interprétation. Les agents IA semblaient être la solution évidente, et plusieurs laboratoires ont commencé à les expérimenter.

Un nouvel article publié sur arXiv le 21 juillet 2026 donne un chiffre précis sur l'état actuel de cette idée. La réponse : environ 50 %.

Ce que le banc d'essai fait différemment

BioSecBench-Surveillance, créé par une équipe de chercheurs dont les affiliations sont listées dans l'article, est un ensemble de 100 évaluations testant chacune si un agent IA peut déduire le pipeline d'analyse correct à partir de données de séquençage brutes et du contexte de surveillance. L'agent ne reçoit rien qu'un analyste humain n'aurait pas : les lectures, une description du type d'échantillon, la plateforme de séquençage utilisée. Le système évalue ensuite la réponse structurée de l'agent de manière déterministe, sans notation subjective.

Les tâches couvrent sept catégories : classification taxonomique, profilage de résistance aux antimicrobiens, parenté clonale, détection de recombinaison, attribution de lignée ou de variant, prédiction de sérotype, et détection de modification génétique. Les échantillons couvrent diverses technologies de séquençage et types d'échantillons allant au-delà des lectures courtes Illumina standard.

Les scores, avec les calculs

L'article rapporte les résultats sur 3 962 tentatives notables provenant de seize combinaisons modèle-harnais. Les chercheurs fournissent des intervalles de confiance, ce qui importe car 83 évaluations sont un petit échantillon pour établir des classements précis. Les trois premiers, avec leurs intervalles de confiance, sont les suivants.

Opus 4.8 avec PI a atteint 50,2 % (IC à 95 % : 40,1 à 60,3 %). GPT-5.5 avec Codex est à égalité à 50,2 % (IC à 95 % : 40,8 à 59,6 %). Opus 4.7 avec PI a obtenu 49,6 % (IC à 95 % : 40,0 à 59,2 %). Sonnet 4.6 avec PI suit avec 48,6 % (IC à 95 % : 38,9 à 58,3 %). Aucun de ces écarts n'est statistiquement significatif étant donné les intervalles de confiance qui se chevauchent, donc le point principal est que les meilleures configurations se regroupent autour du même plafond.

Plus de la moitié de la taille de l'échantillon pour la paire la mieux notée provenait de tâches de profilage de résistance aux antimicrobiens, ce qui peut gonfler les scores globaux si ces tâches sont plus faciles. La recherche originale ne détaille pas la précision par catégorie, donc le nombre de 50,2 % doit être interprété comme une agrégation avec une variance inconnue entre les types de tâches.

Les erreurs qui comptent

Le constat le plus instructif n'est pas le plafond de précision mais le mode d'échec. L'article rapporte que même lorsque les agents invoquaient les workflows corrects, les erreurs provenaient des choix qui les entouraient. Quelle base de données de référence utiliser. Où fixer le seuil pour une correspondance. Quelle normalisation appliquer. Quels filtres conserver ou supprimer. Ce sont les types de décisions qu'un bioinformaticien expérimenté prend de manière semi-automatique, et ce sont précisément les décisions que les agents IA commettent de manière systématique.

Ce schéma suggère que l'écart ne se comblera pas avec de simples modèles plus grands. Un nombre de paramètres plus élevé ou de meilleures données d'entraînement pourraient améliorer la sélection des workflows, mais les jugements contextuels environnants ne sont pas évidemment apprenables à partir de textes publics. Ils dépendent de connaissances tacites qui s'accumulent dans les laboratoires humides et les programmes de surveillance.

Les enjeux pour la prochaine épidémie

Les auteurs de l'article présentent le banc d'essai comme une norme pour mesurer si les agents peuvent être dignes de confiance pour effectuer la surveillance génomique lorsque la prochaine épidémie arrivera. À 50 %, la réponse est clairement pas encore. Le souci n'est pas qu'un agent échoue silencieusement. Le souci est qu'il produise des réponses fausses mais confiantes qui échappent à la relecture, surtout lors d'une poussée où les analystes sont submergés.

Le banc d'essai lui-même est ouvert et les tâches sont vérifiables, ce qui signifie que les travaux futurs peuvent mesurer les progrès. Que ces progrès viennent de meilleurs agents, de meilleurs bancs d'essai ou d'une meilleure supervision humaine est la question à laquelle le domaine devra répondre avant la prochaine crise.