geohotstan/dsh-computer-use
30最近提交 2026年8月14日
dsh-computer-use DSH 插件
该插件克隆自OpenAI的Codex Computer Use窗口API，使AI模型能够控制macOS应用。采用无障碍树优先的设计，返回元素索引供模型操作，并支持窗口相对坐标作为后备。包含本地Swift守护进程、工具、审批策略和MCP服务器。
如何安装 dsh-computer-use DSH 插件
dsh plugin --profile <name> add @zibokapi/dsh-codex-computer-use来源命令需要人工核对。复制不会执行命令。
dsh-computer-use DSH 插件数据来源
dsh-computer-use DSH 插件快照日期：2026年8月16日
discovered
dsh-computer-use DSH 插件能做什么
- 应用列表和关键窗口截图，附带模型可读的无障碍树
- 同一应用的后续捕获返回差异而非完整树
- 通过后台优先执行的合成鼠标和键盘输入（SkyLight路径，回退至CGEvent.postToPid），用户前台不会变化
- 每个应用的审批策略，包含Codex风格层级指导和computer_use_list_granted_applications工具
- 独立的MCP stdio服务器，向外部MCP客户端（Codex CLI、Claude Code等）暴露相同工具
dsh-computer-use DSH 插件适合哪些场景
- AI代理在macOS上执行桌面自动化任务
- 通过无障碍树进行自动化UI测试和交互
- 通过MCP服务器实现语言模型远程桌面控制
- 通过元素树差异进行无障碍测试
dsh-computer-use DSH 插件适合谁
- 构建AI驱动桌面自动化工作流的开发者
- 研究计算机使用模型和代理桌面控制的学者
dsh-computer-use DSH 插件的限制
- 仅支持macOS – 需要无障碍和屏幕录制TCC权限
- 需要Xcode命令行工具（`xcode-select --install`）来构建Swift守护进程
- 早期阶段；与OpenAI Codex的功能对等性记录在docs/codex-parity.md中
- TCC授权仅在稳定的代码签名身份下持久化（临时签名在重建后失效）
dsh-computer-use DSH 插件的仓库 README 摘录
以下文字摘自 dsh-computer-use DSH 插件的上游仓库 geohotstan/dsh-computer-use 的 README，版权归原作者，仅作引用。
English | [中文](README.zh.md) A standalone plugin for the [DeepSeek Harness](https://github.com/deepseek-ai/deepseek-harness): desktop computer use on macOS — app listing, key-window capture as a screenshot plus model-readable accessibility tree, and synthesized mouse and keyboard input — cloned from OpenAI's Codex Computer Use window API. Input delivery is background-first like Codex's own execution model: semantic AX actions need no focus, and raw events ride the private SkyLight path (`SLEventPostToPid` with the keyboard authentication envelope, field stamps, and focus-without-raise records, ported from the MIT-licensed [trycua/cua](https://github.com/trycua/cua) project) with a public `CGEvent.postToPid` fallback per symbol, so the user's foreground never changes. It needs no OpenAI components. The design is accessibility-tree-first: `computer_use_get_app_state` returns a numbered, tab-indented element tree; the model acts on element indexes, with window-relative coordinates as a fallback, and later captures of the same app return diffs instead of the full tree. Everything ships in this one package: the seam, the local Swift-daemon provider, the `computer_use_*` tools, the ap
阅读完整 README仓库许可: MIT
dsh-computer-use DSH 插件常见问题
如何安装这个插件？
运行 `dsh plugin --profile <名称> add @zibokapi/dsh-codex-computer-use` 将插件添加到配置文件。然后执行 `npx @zibokapi/dsh-codex-computer-use` 构建Swift守护进程并授予所需的无障碍和屏幕录制权限。最后重启配置文件 `dsh --profile <名称> web` 以加载computer_use_*工具。
它支持Windows或Linux吗？
不支持，仅限macOS。守护进程是Swift二进制，依赖macOS特有的API（无障碍和屏幕录制）。Node.js部分也会在非darwin主机上抛出平台门控。
守护进程需要哪些权限？
需要无障碍权限（读取无障碍树和输入定位）和屏幕录制权限（窗口截图）。两者都是TCC权限，启动时通过系统对话框请求。如果权限缺失或撤销，插件将拒绝激活，直到权限被授予。
我可以将MCP服务器与其他LLM客户端一起使用吗？
可以，插件包含独立的MCP stdio服务器，位于 `@zibokapi/dsh-codex-computer-use/computer-mcp`。它暴露了相同的十个Codex Computer Use窗口工具以及request_access和event_stream_*工具。你可以通过 `node lib/mcp.js` 运行它，并将其连接到Codex CLI、Claude Code或任何MCP客户端。
如何更新插件？
使用 `dsh plugin --profile <名称> update @zibokapi/dsh-codex-computer-use` 更新插件包。守护进程安装在固定路径（`~/.dsh/computer-use/`）以保留TCC授权。更新后，如果守护进程二进制文件发生变化，可能需要重新运行 `npx @zibokapi/dsh-codex-computer-use`。