没有老板，没有瓶颈：点对点框架重塑合成数据生成方式

合成数据已成为大型语言模型训练的命脉，用于填补真实数据稀缺、昂贵或出于隐私考虑无法使用的空白。然而，当前大规模生成此类数据的主流范式仍然依赖中央协调器, , 一个分配任务、收集结果并管理状态的单一控制点。这种架构在瓶颈出现、并发困难以及某个智能体推理缓慢拖慢整个流水线时便会失效。

本月发表的一篇预印本论文《Matrix: Peer-to-Peer Multi-Agent Synthetic Data Generation Framework》采取了根本不同的方法。研究人员（其所属机构包括一家大型科技实验室）完全移除了中央协调器。相反，控制流和数据流都通过分布式队列以序列化消息的形式传递。每个智能体独立运行，而计算密集型操作（如LLM推理或容器化环境）则在基于Ray构建的独立分布式服务上执行。

“现有的多智能体合成框架通常依赖中央协调器，造成可扩展性瓶颈，或者针对特定领域硬编码，限制了灵活性，”作者写道。“Matrix消除了中央协调器。”

队列取代调用

Matrix的核心转变在于从同步的、协调器中介的任务管理转向异步的、消息驱动的点对点协调。不再由主智能体指导每一步，而是智能体订阅队列，并在消息到达时获取相关消息。这种解耦意味着一个慢速智能体不会拖慢整个系统。其他智能体继续处理自己的队列，结果最终在落后智能体完成后流回。

该框架区分了轻量级的“控制智能体”（负责逻辑路由）和“服务智能体”（负责实际计算，如调用LLM、运行Python沙盒或从网页抓取结构化数据）。由于服务是池化且可重用的，多个控制流可以共享同一个推理端点，从而提高了利用率。

三个场景中的具体收益

论文在三个合成数据生成任务上对比了Matrix与基线协调系统：多智能体协作对话、基于Web的推理数据提取以及面向客服的工具使用轨迹生成。

所有增益均发生在相同硬件上（据论文，一个16节点Ray集群，配备A100 GPU），并且作者报告，在对输出质量进行盲测（评估者不知道使用哪个框架）时，未发现可测量的差异。

吞吐量为何比以往更重要

随着模型构建者希望扩充人工生成的数据集，合成数据市场预计将快速增长。但生成高质量数据并不便宜。每次对话或轨迹可能需要多次LLM调用、沙盒执行和验证步骤。一个能将每单位计算成本对应的输出翻倍，甚至在某些情况下提升15倍的框架，不仅仅是学术上的好奇。它对构建前沿模型的成本结构有着直接影响。

Matrix构建于Ray之上，Ray是一个开源分布式计算框架，已在许多AI实验室中用于训练和推理。模块化设计使用户可以编写新的智能体类型和队列处理器，而无需重写核心消息传递层。

权衡之处

去中心化并非没有代价。由于智能体不共享全局进度视图，调试和可观测性需要更多基础设施。论文提到一个基于Ray仪表板和自定义日志记录的单独监控层。在低并发情况下，单个任务的延迟也可能略有增加，因为基于队列的架构引入了直接函数调用所避免的消息序列化开销。

尽管如此，对于作者针对的用例, , 高吞吐量合成数据生成，其中原始吞吐量是主要指标, , 这一权衡是值得的。“我们在不牺牲输出质量的情况下实现了更高的吞吐量，”他们指出，并优于那些在高负载下达到瓶颈的集中式替代方案。

未来展望

论文并未发布参考实现，尽管作者表示代码基于标准Ray原语，任何熟悉该框架的团队都可复制。由于依赖专有或推理精细化的LLM访问，该论文更像是一份架构蓝图，而非即插即用的库。尽管如此，其核心见解, , 合成数据生成应被视为分布式流式处理问题，而非集中式编排问题, , 很可能影响未来生成流水线的设计。

对于当前受制于合成数据量的团队来说，信息很明确：协调器可能就是你需要移除的部分。