阿里开源Page Agent实现网页DOM脱水技术

7月3日 08:56
该JavaScript客户端库通过内部运行将复杂页面转化为纯文本映射,支持兼容OpenAI接口的大语言模型,旨在解决传统浏览器自动化依赖截图或底层协议的难题,为SaaS副驾及无障碍交互提供工程化方案。

阿里巴巴近日在GitHub以MIT协议开源了名为Page Agent的JavaScript客户端库,该工具通过创新的“DOM脱水”技术改变了浏览器自动化的执行逻辑。不同于传统方案需依赖Selenium、Playwright等外部工具,或采用截图多模态分析来驱动网页,Page Agent直接嵌入页面内部运行,将实时的DOM结构压缩为轻量化的“FlatDomTree”纯文本映射。这一机制使得大语言模型无需处理繁重的视觉渲染信息,仅依据精简的结构文本即可精准定位并执行点击、表单填写等操作,显著降低了多模态模型的算力成本。

在技术实现与集成便利性方面,Page Agent采用模型无关设计,支持任何兼容OpenAI标准接口的大语言模型。由于库文件直接运行于浏览器环境内,它天然继承用户的Cookie与会话信息,无需开发者进行繁琐的后端对接或身份验证流程。开发团队明确指出,该方案适用于构建SaaS产品内的AI副驾、自动化数据采集任务以及提升Web应用的无障碍交互能力。通过将复杂的网页结构转化为高精度交互地图,Page Agent解决了传统方法因页面动态变化而导致识别失效的痛点。

尽管具备工程化优势,该库在安全边界与应用范围上存在明确限制。目前Page Agent聚焦于单页面范围内的交互,尚未覆盖跨页面的复杂流程。针对涉及资金划拨或数据修改等高敏感操作,项目仅通过提示词进行权限管控引导,属于非强制性的逻辑约束,而非硬性的系统隔离。因此,开发者在落地涉及支付或关键数据变更的场景时,必须在服务端保留严格的校验机制以确保安全。这一开源项目的推出,为希望快速内嵌AI操作能力且不愿承担高昂多模态成本的团队提供了务实的技术选项。