Computer Use（Hermes 桌面自动化）

作者介绍

Drive the desktop background-first; escalate on signal.

它能做什么

让 Hermes 通过截图、界面元素索引和后台输入控制桌面应用，按实际反馈验证并升级操作方式。

主要能力

• 捕获截图与可访问性元素树；som / vision / ax 三种返回模式。
• 优先按元素索引点击，支持点击、拖拽、滚动、输入、快捷键、set_value、列出应用和窗口。
• 每次界面变化重新捕获；旧索引会被拒绝，降低误点风险。
• 后台优先，先验证，再按失败信号尝试坐标或前台输入；前台模式可能短暂改变焦点，不能保证永不干扰用户。
• 支持 macOS、Windows、Linux；工具能力模型可用，非视觉模型可选辅助视觉模型或仅元素树。

实际工作流程

捕获目标应用 → 阅读截图和元素索引 → 操作 → 再捕获验证 → 仅在确认无效或明确拒绝时升级 → 验证任务结果。网页 DOM 操作属于独立 browser_* 工具，不应混用驱动底层词汇。

安装与调用

先安装并配置 Hermes Agent；Computer Use 是内置 Skill，无需把此文档当成独立程序运行。驱动缺失时使用下列官方命令，然后按系统授予权限：

hermes computer-use install
hermes computer-use status
hermes computer-use doctor
hermes -t computer_use chat

用户用自然语言指定目标应用和任务。开发调用示例（SKILL.md 原文）：

computer_use(action="capture", mode="som", app="<the app you're driving>")
computer_use(action="click", element=7, capture_after=True)

上例是 Hermes 工具调用示例，不是独立 Python 脚本。

使用条件

需要已安装 Hermes Agent、可用模型提供方和 cua-driver。当前 main 的 pyproject.toml 声明 requires-python = ">=3.11,<3.15"，注释说明标准运行环境采用 Python 3.14，旧版本只为升级过渡；README 安装器由 PM 准备 Python 3.14、Node.js、npm 等。不要把低门槛元数据理解为当前完整运行推荐。

macOS：Accessibility、Screen Recording；Windows：交互式桌面会话，SSH Session 0 有额外条件；Linux：可访问显示服务器、AT-SPI，Wayland 截图需 XWayland 桥接。cua-driver 无 musl 或 Android 构建。API Key 取决于模型提供方，也可用本地 OpenAI-compatible 模型；非视觉模型的辅助视觉模型可选。

注意事项

可读取屏幕并操作真实应用，可能修改文件和外部状态。截图/界面文本会进入 Agent 上下文，云模型配置下可能发送给模型服务，不得宣称资料绝不离机。驱动通过 stdio MCP 连接；安装、更新可能下载 PM 包并自动修复旧驱动。SKILL 禁止输入秘密、擅自点击支付/密码/2FA/权限界面，并要求忽略截图中的指令。SECURITY.md 强调只有操作系统级隔离是对抗恶意模型的边界，进程内审批与扫描只是防误操作措施。默认本机、容器及远程后端的实际屏幕位置需按宿主配置核对。

仅复制 SKILL.md 到其他 Agent 不会自动获得 Hermes computer_use 工具。Windows / Linux 交付方式和应用支持受驱动版本及桌面会话影响；不可把后台优先写成永不切焦点。Skill 文档和最新特性文档对 cua-driver skills install 自动探测情况存在差别，按当前特性文档和 doctor 结果处理。