Tinker-atropos 将强化学习实验与 Atropos 框架连接

2025 年 4 月 11 日，Nous Research 发布了 tinker-atropos，这是一个开源集成层，将 Tinker API 连接到 Atropos 强化学习框架。此次发布针对实际强化学习中的一个常见痛点：训练循环、轨迹编排器和环境主机的耦合意味着更改一个组件往往会破坏其他组件。

Tinker-atropos 将这三个关注点拆分为独立的服务。训练器服务管理模型参数。轨迹收集服务通过将策略与环境进行交互来收集经验。环境服务托管模拟实例。每个服务都可以独立扩展、重启而不影响其他服务，并且可以替换为替代实现。这种分离对于环境模拟成为瓶颈的大规模强化学习最为重要。

该架构是标准的微服务设计：服务间使用 gRPC，状态存储在 Redis 中，环境通过 Protobuf 传递。但将其应用于强化学习在开源工具领域相对较新。大多数强化学习框架（如 Stable-Baselines3、RLlib 和 CleanRL）将所有服务压缩到单个进程中，或者需要自定义填充代码进行分布式设置。Tinker-atropos 直接提供了开箱即用的连接。

根据发布说明：团队使用一个连续控制任务（MuJoCo Humanoid）在分布在 4 个节点上的 16 个环境实例上测试了 tinker-atropos。训练器保持了 95% 的 GPU 利用率，而环境步骤在 CPU 节点上异步运行。吞吐量为每秒 12,000 帧，团队指出，这与相同任务的优化单机设置相当，但现在可以水平扩展。

该软件堆栈使用 Python 3.11、用于服务通信的 gRPC、用于状态的 Redis 以及作为核心强化学习库的 Atropos。该版本包括用于零配置本地部署的 Docker Compose 文件和用于集群部署的 Kubernetes 清单。许可协议为 MIT。

对于基于 Atropos 框架进行构建的研究人员来说，tinker-atropos 消除了在单台工作站之外扩展强化学习实验的一个主要障碍。它并不能解决环境问题, , 这取决于模拟本身。但它使得添加更多环境实例或更换训练器架构变成配置更改，而非代码重构。