强化学习将脑机接口解码精度提升41%

从非侵入式脑电图信号解码想象肢体运动一直受到噪声和系统性残余误差的限制。巴斯大学和阿尔斯特大学的一个团队现已证明，一个仅基于解码器本身输出训练的离线强化学习智能体，可以显著优化这些轨迹，且无需额外的神经记录。

在一项发表于arXiv的研究中，研究人员提出了一种名为CNN-LSTM-RL的两阶段架构。在第一阶段，一个卷积神经网络-长短期记忆模型在单一会话的脑电图数据上进行校准，然后固定。在第二阶段，一个Soft Actor-Critic强化学习智能体被离线训练，仅使用解码器预测的运动学输出和时间上下文，生成残差校正，这些校正被添加到解码器的速度估计中。

框架工作原理

强化学习智能体在推理时不访问脑电图信号或目标轨迹。它接收解码器的输出、先前校正的速度和一个归一化的时间步。其动作是一个连续残差速度向量，按每个空间维度独立缩放，与解码器的预测相加，形成最终校正的轨迹。

奖励函数最小化校正速度与真实目标轨迹之间的欧几里得距离。超参数通过Optuna在200次试验中优化，以最大化皮尔逊相关系数。这种双重设置意味着校正轨迹既能匹配目标的形状，又能最小化绝对误差。

二维和虚拟现实中的性能提升

团队在来自十名参与者、跨越十个会话的数据上评估了该方法，使用二维屏幕和沉浸式虚拟现实反馈环境。基线解码器在第一个会话上训练，并在随后的四个测试会话中保持固定，这种协议作者称之为固定解码器泛化。

CNN-LSTM-RL在二维中实现了平均皮尔逊相关系数0.7181，在虚拟现实中为0.7780，而基线解码器仅为0.5076和0.6420。相对提升分别为41.5%和21.2%。两者均具有统计学显著性。均方根误差在二维中从0.0890降至0.0532，在虚拟现实中从0.0714降至0.0441，两种情况下p值均小于0.0001。

在虚拟现实环境中，经强化学习校正的解码器在均方根误差上甚至优于会话内上限模型，后者在同一会话上进行训练和测试。这表明强化学习智能体超越了CNN-LSTM架构单独所能达到的水平。

轴特定增益与稳定性

逐轴分析显示，在Y轴和Z轴上增益最大，校正后的相关性超过0.97，均方根误差低至0.0182。该框架的跨会话性能变异性也远低于任何基线，表明对纵向脑电图数据中常见的非平稳性具有韧性。

效应量整体较大。相关性比较的科恩d值范围从1.85到3.45，均方根误差减少的科恩d值范围从2.47到4.52。参数检验和非参数检验均确认了结果。

局限性与未来工作

残差校正对动作缩放超参数敏感：比例过小会限制改进，比例过大会使校正不稳定。该框架还依赖于明确的时间信息；缺少时间步输入会导致性能显著下降，这对实时异步脑机接口应用是个问题。

当前研究仅限于离散的四目标到达任务。作者计划将数据收集扩展到更广泛的运动轨迹范围和更密集的目标方向，并开发时间不变的解码策略。实时实现与用户实时反馈也在规划中。

该工作建立在团队之前CNN-LSTM解码器的基础上，为非侵入式3D运动想象解码设定了新的基准，具有在神经康复、假肢和虚拟交互方面的应用潜力。