dsh-computer-use DSH 插件

DSH Computer Use 提供一个原生动作层，让代理通过辅助功能 API 观察和控制 macOS 应用。它默认将指针和键盘输入路由到选定进程，不移动系统光标也不激活目标应用，实现后台无干扰操作。该 Bundle 包含一个用于测试的确定性固件，以及一个暴露聚焦执行工具的 Skill。

remote-execution

如何安装 dsh-computer-use DSH 插件

dsh plugin --profile web add @anionex/dsh-computer-use

复制不会执行命令。安装 dsh-computer-use DSH 插件前请核对仓库和版本。

dsh-computer-use DSH 插件数据来源

dsh-computer-use DSH 插件快照日期：2026年8月16日

discovered

dsh-computer-use DSH 插件能做什么

观察选定应用的辅助功能树，返回索引元素、元数据和可选的屏幕截图工件。
优先使用语义输入（AXPress、设置值、选中文本），再回退到目标进程的指针或键盘输入。
将指针和键盘输入路由到特定进程和窗口，保持系统光标不动，并显示单独的代理光标用于反馈。
每次操作后返回新鲜观察结果，包含解析模式、置信度、目标是否变化等细节，并拒绝过期状态。
通过分离的读取和控制租约限制应用访问，高风险操作需一次确认。

dsh-computer-use DSH 插件适合哪些场景

让代理在后台操作一个 macOS 应用，同时用户继续在前台工作。
自动化需要精确定位 UI 元素的原生 macOS 应用工作流，如填写表单或点击按钮。
在不激活应用的情况下，通过观察 UI 并执行操作来测试或验证 macOS 应用的状态。
与其他 DSH 插件（如 dsh-vision-toolkit）集成，进行视觉定位或 OCR，然后使用 Computer Use 执行操作。

dsh-computer-use DSH 插件适合谁

需要通过代理以编程方式控制 macOS 应用的 DeepSeek Harness 用户。
构建 macOS 桌面应用自动化或测试工具的开发者。
希望将 UI 任务委托给 AI 代理而不失去当前工作空间控制的专业用户。

dsh-computer-use DSH 插件的限制

需要 macOS 14 或更新版本，以及完整的 macOS 辅助功能权限（截图时需要屏幕录制权限）。
不适用于浏览器任务；浏览器自动化和 CDP 状态更适合。
不包含 OCR、视觉定位或像素解释；这些功能由单独的 dsh-vision-toolkit 插件处理。
依赖于 DeepSeek Harness 及其 Web 或 Headless Profile，且需挂载 Skill Tool；代理必须加载 Computer Use Skill 才能使用执行工具。

dsh-computer-use DSH 插件的仓库 README 摘录

以下文字摘自 dsh-computer-use DSH 插件的上游仓库 Anionex/dsh-computer-use 的 README，版权归原作者，仅作引用。

**Native macOS control for DeepSeek Harness that keeps your real cursor and foreground application alone by default; the Bundle may bring the target app forward before keyboard input for reliable typing.** DSH Computer Use gives an Agent fresh Accessibility observations, exact process/window targeting, stale-state rejection, scoped application access, and verified post-action state. Semantic Accessibility comes first; mouse, drag, wheel, and keyboard fallback are routed to the selected process instead of the global desktop. English | [中文](README.zh.md) ## Why it is different Accessibility permission lets a process inspect and operate macOS UI elements, but the permission itself does not prevent focus stealing or cursor movement. Those behaviors depend on the input route. The default DSH Computer Use route is deliberately non-interfering: - **No system-cursor movement:** the helper contains no cursor-warp path. - **No global pointer injection:** click, scroll, and drag fallback use a pid/window-targeted SkyLight route, not the global HID event stream. - **No pointer-triggered activation:** semantic Accessibility, process-targeted pointer input, and `keyboardPolicy: preserve` r

阅读完整 README仓库许可: MIT

dsh-computer-use DSH 插件常见问题

如何安装 DSH Computer Use？

运行 `dsh plugin --profile web add @anionex/dsh-computer-use` 安装到 Web 配置，或替换 `web` 为 `headless`。安装后重启 `dsh web` 主机并启动新会话，然后通过 `/computer-use` 加载 Skill。

DSH Computer Use 需要辅助功能权限吗？

是的，需要 macOS 辅助功能权限用于观察和原生操作。如果需要截图，还需要屏幕录制权限。可以在系统设置 > 隐私与安全性 > 辅助功能/屏幕录制中授予。

可以用这个插件做浏览器自动化吗？

不可以。DSH Computer Use 专为原生 macOS 应用设计。对于浏览器任务，README 建议使用浏览器自动化工具和 DOM/CDP 状态，它们更可靠高效。

代理光标是如何工作的？

代理光标是一个独立的、非交互式的、穿透的软件光标，在点击、滚动和拖拽操作期间显示。它不会移动系统光标。默认可见，并停留在操作位置，直到绑定窗口变化或收到隐藏命令。可通过 `cursorAutoHideMs` 配置定时自动隐藏。

`focusPolicy: preserve` 和 `keyboardPolicy: activate` 有什么区别？

`focusPolicy: preserve`（默认）保持前台应用不变，代理在后台运行。`keyboardPolicy: activate`（Bundle 默认）在键盘输入前将目标应用带到前台，确保输入可靠。更宽泛的 `focusPolicy: activate` 还会在指针输入前激活目标。这些策略可在交互策略 YAML 中配置。