阿里开源 Mobile-Agent 3：强大的 GUI 代理家族

阿里开源的 Mobile-Agent 3 是一个强大的 GUI 代理家族，专注于 GUI 自动化领域，旨在提供跨平台、多模态、多任务的 GUI 操作能力。以下是对该技术的详细介绍：

1. Mobile-Agent-v3 的核心特性与技术亮点

Mobile-Agent-v3 是阿里巴巴在 2025 年 8 月 25 日正式发布的第三代 GUI 智能体框架，基于开源的多模态跨平台 GUI 虚拟层模型 GUI-Owl 构建 。其核心特点包括：

• 跨平台支持：支持移动设备和桌面系统的 GUI 自动化操作，适用于多种操作系统环境 。
• 多模态感知能力：GUI-Owl 具备多模态感知能力，能够精准识别界面元素并执行自然语言指令，支持视觉、文本、图像等多种输入形式 。
• 多智能体架构：采用多智能体架构，包括视觉感知、决策、执行和反思等智能体，实现任务的自主规划与执行 。
• 开源与开放性：项目开源，为开发者提供了强大的工具，推动行业技术创新 。

2. 技术原理与实现方式

Mobile-Agent-v3 的技术实现结合了多种先进技术：

• 多模态大语言模型（MLLM） ：利用 GPT-4V 等大语言模型进行自然语言理解和推理，将用户指令转化为具体操作步骤 。
• 视觉感知工具：通过 OCR、图标检测、CLIP 模型等工具，从屏幕截图中提取视觉信息，支持多模态感知 。
• 多智能体协作：采用多智能体架构，实现任务的自主规划、执行与反思，提升任务执行的稳定性与效率 。

3. 性能与应用前景

Mobile-Agent-v3 在多个权威 GUI 自动化测试中表现出色，例如在 AndroidWorld 和 OSWorld 测试中分别取得了 73.3% 和 37.7% 的成功率，达到行业领先水平 。其应用前景广泛，适用于 GUI 自动化测试、多任务操作、跨平台任务执行等领域。

4. 与前代版本的对比

Mobile-Agent-v3 是 Mobile-Agent 系列的第三代产品，继承了前代版本的核心能力，同时在多模态感知、多任务处理、跨平台支持等方面进行了显著提升。例如，前代 Mobile-Agent 已具备多模态大语言模型支持和视觉感知能力，但 Mobile-Agent-v3 在多模态感知、多任务处理、跨平台支持等方面进行了进一步优化 。

5. 开源与社区支持

Mobile-Agent-v3 项目在 GitHub 上开源，开发者可以访问相关代码和文档，推动社区协作与技术创新 。

总结

Mobile-Agent-v3 是一个强大的 GUI 代理家族，结合了多模态感知、多智能体架构、开源开放性等技术优势，为 GUI 自动化领域带来了跨时代的突破。其在多任务处理、跨平台支持、多模态感知等方面表现出色，具有广泛的应用前景和良好的社区支持。