L'apprentissage par renforcement améliore de 41 % le décodage des interfaces cerveau-ordinateur

Le décodage des mouvements de membres imaginés à partir de signaux EEG non invasifs a longtemps été limité par le bruit et les erreurs résiduelles systématiques. Une équipe de l'Université de Bath et de l'Université d'Ulster a maintenant montré qu'un agent d'apprentissage par renforcement hors ligne, entraîné uniquement sur les sorties du décodeur lui-même, peut affiner considérablement ces trajectoires, sans aucun enregistrement neuronal supplémentaire.

Dans une étude publiée sur arXiv, les chercheurs proposent une architecture en deux étapes qu'ils appellent CNN-LSTM-RL. Dans la première étape, un modèle de réseau neuronal convolutif-mémoire à long court terme (CNN-LSTM) est calibré sur une seule session de données EEG puis figé. Dans la deuxième étape, un agent d'apprentissage par renforcement Soft Actor-Critic est entraîné hors ligne, en utilisant uniquement les sorties cinématiques prédites du décodeur et le contexte temporel, pour produire des corrections résiduelles ajoutées aux estimations de vélocité du décodeur.

Comment fonctionne le cadre

L'agent RL n'accède pas aux signaux EEG ni aux trajectoires cibles au moment de l'inférence. Il reçoit la sortie du décodeur, la vélocité précédemment corrigée et un pas de temps normalisé. Son action est un vecteur de vélocité résiduelle continu, mis à l'échelle indépendamment par dimension spatiale (x, y, z), qui est additionné à la prédiction du décodeur pour donner la trajectoire corrigée finale.

La fonction de récompense minimise la distance euclidienne entre les vélocités corrigées et les trajectoires cibles de vérité terrain. Les hyperparamètres sont optimisés via Optuna sur 200 essais pour maximiser le coefficient de corrélation de Pearson. Cette configuration double permet aux trajectoires corrigées de correspondre à la forme de la cible et de minimiser l'erreur absolue.

Gains de performance en 2D et VR

L'équipe a évalué l'approche sur des données de dix participants sur dix sessions, dans des environnements de feedback en écran 2D et en réalité virtuelle immersive (VR). Le décodeur de base a été entraîné sur la première session et maintenu fixe sur quatre sessions de test ultérieures, un protocole que les auteurs appellent Fixed Decoder Generalisation (FDG).

CNN-LSTM-RL a atteint une corrélation de Pearson moyenne de 0,7181 en 2D et de 0,7780 en VR, contre 0,5076 et 0,6420 pour le décodeur de base seul. Cela représente une amélioration relative de 41,5 % et 21,2 %. Les deux étaient statistiquement significatifs (p = 0,0005 et p = 0,0059). L'erreur quadratique moyenne (RMSE) est passée de 0,0890 à 0,0532 en 2D (réduction de 40,2 %) et de 0,0714 à 0,0441 en VR (réduction de 38,2 %), avec p < 0,0001 dans les deux cas.

Dans l'environnement VR, le décodeur corrigé par RL a même surpassé la limite supérieure intra-session (WSR), un modèle entraîné et testé sur la même session, en RMSE. Cela suggère que l'agent RL repousse au-delà de ce que l'architecture CNN-LSTM seule peut atteindre.

Gains par axe et stabilité

L'analyse axe par axe a montré les plus grands gains sur les axes Y et Z, où les corrélations corrigées dépassaient 0,97 et la RMSE tombait jusqu'à 0,0182. Le cadre présentait également une variabilité de performance inter-session bien inférieure à toutes les lignes de base, suggérant une résilience à la non-stationnarité courante dans les données EEG longitudinales.

Les tailles d'effet étaient grandes dans l'ensemble. Les valeurs d de Cohen allaient de 1,85 à 3,45 pour les comparaisons de corrélation, et de 2,47 à 4,52 pour les réductions de RMSE. Les analyses paramétriques (ANOVA à mesures répétées) et non paramétriques (test de Friedman, Wilcoxon signé) ont confirmé les résultats.

Limites et travaux futurs

La correction résiduelle est sensible à l'hyperparamètre de mise à l'échelle de l'action : une échelle trop faible limite l'amélioration, une échelle trop grande déstabilise les corrections. Le cadre dépend également des informations temporelles explicites ; sans l'entrée de pas de temps, la performance diminue considérablement, ce qui pose un problème pour les applications BCI asynchrones en temps réel.

L'étude actuelle se limite à une tâche d'atteinte discrète à quatre cibles. Les auteurs prévoient d'étendre la collecte de données à une gamme plus large de trajectoires de mouvement et de directions de cibles plus denses, et de développer des stratégies de décodage invariantes dans le temps. La mise en œuvre en temps réel avec un feedback utilisateur en direct est également au programme.

Ce travail s'appuie sur les précédents décodeurs CNN-LSTM du groupe et établit un nouveau benchmark pour le décodage d'imagerie motrice 3D non invasif, avec des applications potentielles en neuroréadaptation, prothèses et interaction virtuelle.