该功能于8月18日在Windows端上线，依托通用GUI能力在无API或插件支持下模拟人机交互，允许用户在独立环境中实时监督并随时接管AI执行的各项跨软件复杂任务。
2026年8月18日，豆包宣布其工作任务模式在Windows版本迎来重要更新，正式推出“豆包虚拟桌面”功能。该模块旨在提升人工智能体直接操作计算机的能力，使用户能够通过自然语言指令驱动AI在图形界面环境中执行各类复杂任务。用户需下载最新版本的豆包Windows客户端，在应用中切换至工作任务模式并绑定本地设备，随后在技能栏启用“操作电脑”选项并完成授权流程，即可启动该功能。
在技术实现层面，豆包虚拟桌面基于通用的图形用户界面（GUI）识别能力构建，其核心优势在于不依赖模型通信协议（MCP）、应用程序接口（API）、第三方插件或命令行界面（CLI）。系统能够直接解析屏幕像素信息，精准识别软件界面元素，进而自主执行移动鼠标、点击按钮及敲击键盘等输入操作。在实际应用场景中，该功能支持跨软件任务处理，例如自动遍历本地文件夹以提取简历内容，并同步将其录入至候选人登记系统；或在用户进行文档编辑时，独立打开浏览器检索资料并将结果整合进当前文档。
运行机制方面，豆包虚拟桌面在独立的虚拟环境中执行指令，不会占用用户当前的物理鼠标与键盘控制权，确保用户原有工作流不受中断。系统允许用户在任务执行过程中实时观察AI的操作轨迹与步骤细节，具备高度的人机协作可控性。若遇到需要人工干预的环节或发现操作偏离预期，用户可随时暂停任务执行或直接接管控制权。目前该功能已限定在Windows平台上线，旨在通过降低自动化技术门槛，为办公场景提供无需复杂配置的智能辅助方案。
此更新标志着桌面端AI助手从单纯的对话交互向实质性环境操作迈出了关键一步。相较于传统依赖特定插件或预设接口的自动化工具，基于GUI的通用操作能力拓展了AI在未知软件环境中的适应性，减少了对开发者定制接口的依赖。这一技术路径可能推动个人电脑端的智能化进程，使AI能够处理更多非标准化的碎片化办公需求，同时也引发了关于用户隐私保护、操作安全性以及人机权责边界的行业关注。