SevenTnewS

数据基础设施

阿里云新数据代理:做你的AI离不开的“数据厨师”

阿里云推出DataBridge Agent,自动化多源数据收集、解析和结构化,为AI工作流服务。该工具旨在弥合强大模型与混乱企业数据之间日益扩大的鸿沟。

Emmanuel Fabrice Omgbwa Yasse AI 辅助

2026-07-26 · 阅读需 4 分钟

阿里云新数据代理:做你的AI离不开的“数据厨师”
来源 : Alibaba Cloud D…

有一个LLM基准测试不会提及的秘密。每个模型都需要训练数据,RAG管道需要源文档,而智能体需要可操作的数据。但运行这些系统的人,在编写ETL脚本上花费的时间远多于调整参数。阿里云ApsaraDB团队刚刚发布了一款直接回应这一失衡的产品。

DataBridge Agent现已正式可用,是一款用于多源数据收集、解析和结构化的智能体。它支持连接数据库(MySQL、Oracle、PostgreSQL、PolarDB、SQL Server、AnalyticDB)、网页(静态HTML及通过API模拟的动态页面)以及文档格式(PDF、Word、Excel、PPT、Markdown,甚至OCR扫描文档)。输出为标准JSON、CSV或Parquet格式,可直接用于LLM训练、BI分析或智能体工作流。

核心卖点直截了当:输入原始数据,输出结构化数据。但它所解决的问题却绝非小事。

没有人计入预算的数据瓶颈

在任何一个数据团队待上一段时间,你都会听到同样的抱怨。数据分散在孤岛中:一些在Oracle,一些在微信上传递的Excel文件,一些埋在带有合并单元格和对齐错乱的PDF里。数据科学家可能要花两周时间弄清楚自己有什么,然后才开始编写第一个训练循环。格式转换又吞噬了另一部分时间:这里有CSV,那里有JSON,还有Parquet。此外,还有不断维护的网页抓取链条:页面结构一变,脚本就报废;保护措施加强,你突然发现自己不是在构建模型,而是在维护爬虫。

图表 : DataBridge Agent 支持的数据源 · DataBridge Agent 应用场景 · 支持的输出格式
根据文章,DataBridge Agent 连接了七种数据库类型、两种网页类型(静态与动态)以及六种文档格式,包括 PDF、Word、Excel、PPT、Markdown 和 OCR 扫描文档。 文章概述了 DataBridge Agent 的三大主要应用场景:LLM 训练、Agent 工作流以及 API 集成,每个场景均解决不同的数据预处理需求。 据文章所述,DataBridge Agent 以 JSON、CSV 或 Parquet 格式输出结构化数据,这三者在产品支持中占比相同。

DataBridge Agent将这一切压缩为一个配置步骤。内置的DPI引擎自动检测字段、表格标题和层级关系。用户可以定义自定义映射规则以匹配业务习惯。智能体处理转换层,团队无需再为此操心。

它在AI栈中的位置

阿里云将DataBridge Agent定位为三种不同使用场景的数据预处理层:

  • LLM训练:从异构来源获取干净、一致的训练数据,在到达模型前进行结构化和去重。
  • 智能体工作流:实时数据摄取,确保检索增强生成和自主智能体始终基于最新输入工作,而非过时快照。
  • API集成:提供标准输出格式,现有应用程序无需更改Schema即可消费。

该产品还能处理跨环境数据迁移:从本地到云端、从私有云到公有云,或在不同云区域之间,支持VPC对等连接、专线或互联网连接,并叠加IP白名单和访问控制。这对于有数据驻留合规要求的企业尤为重要。

不是首创,但时机正好

阿里云并非在创造新品类。已有多个开源项目和SaaS工具实现部分功能:Airbyte用于连接器、Unstructured用于文档解析、LlamaIndex用于RAG管道。DataBridge Agent的不同之处在于整合。一个单一的智能体,同时完成网页抓取、数据库提取、文档OCR、格式转换和安全交付,无需编写适配器代码,这在实际中极少见,尽管听起来很简单。

这个时机反映了一个更广泛的趋势。随着更多团队在生成中使用较小的专用模型,而非依赖单一的巨型API,数据管道成为瓶颈。构建领域特定数据集的整个过程, , 从CRM数据库拉取数据、抓取竞争对手定价页面、从监管PDF中提取表格, , 正是智能体擅长的繁琐多步骤任务。讽刺之处显而易见:你需要一个AI智能体来为其他AI智能体准备数据。

真正的考验在于DPI引擎如何处理那些打破大多数文档解析器的边缘情况:缺少边框的PDF表格、带有手写标注的扫描发票、需要三次API调用和一个验证码才能加载的动态网页。阿里云的文档承诺支持所有这些情形,但结构化输出的质量决定了该工具是真正有用,还是仅仅是一个界面更漂亮的连接器库。

就目前而言,该产品填补了一个切实的空白。模型智能已超越数据基础设施,且这一鸿沟还在扩大。DataBridge Agent并未声称能完全弥合,但它成功解决了最痛苦的部分:将混乱的原始数据转化为模型真正可用的东西,那种无穷无尽的无形劳动。

每天早晨用 3 分钟掌握科技要闻

每个工作日一封邮件,只讲真正重要的 AI 与科技动态。