跳到正文

Apageoflove/DSH-arena

30最近提交 2026年8月15日

DSH-arena DSH 插件

DSH Arena 是一个插件，让你用同一个任务和仓库快照对比多个候选 profile。它会先过滤掉未通过硬性门槛（hard gate）的运行，然后进行 Pareto 排序，并在导出报告时自动脱敏常见凭据。它还包含一个 Web 实验台，支持交互式操作。

developer-toolsui-productivity

如何安装 DSH-arena DSH 插件

dsh plugin --profile arena add dsh-arena-0.1.15.tgz

复制不会执行命令。安装 DSH-arena DSH 插件前请核对仓库和版本。

DSH-arena DSH 插件数据来源

DSH-arena DSH 插件快照日期：2026年8月16日

discovered

DSH-arena DSH 插件能做什么

  • 原子化的本地持久化存储，运行队列有并发上限，支持中止和超时
  • 确定性 hard gates，不满足条件直接判失败，不进入排序
  • Pareto 排名与 winner 汇总，涵盖质量、时长、token 和成本指标
  • 通过 Shadow DOM 组件实现的 Web 矩阵界面，实时刷新
  • 基于 adapter 驱动的执行，不猜测 DSH 未文档化的 headless 命令
  • 导出报告（JSON、JSONL、Markdown）时自动脱敏 authorization、token、key、secret、password、cookie 等字段
  • 离线报告导入：加载本地 Arena JSON 报告并渲染，包含审计告警，无上传或遥测

DSH-arena DSH 插件适合哪些场景

  • 在同一个任务上对比多个 AI 模型 profile，找出最佳性能
  • 使用 hard gate 约束运行本地实验，过滤掉不合格的候选
  • 生成 Pareto 最优推荐和 winner 总结，辅助决策
  • 审计实验运行，在导出报告中检测凭据泄露
  • 离线分析报告，通过导入 Arena JSON 文件无需网络连接

DSH-arena DSH 插件适合谁

  • 希望评估和比较不同模型配置的 DSH 用户
  • 构建自定义评估管线的开发者，需要本地持久化和排序功能
  • 在私有任务上对 AI 模型进行头对头比较的研究人员

DSH-arena DSH 插件的限制

  • 仅实现 Cordis 文档化的契约（name、apply、ctx、Config schema）；不使用未文档化的 DSH 内部接口
  • 真实的 DSH Web/Headless E2E 测试尚未完成，因此不声称 100% 兼容
  • 当前为 private: true，未发布到 npm；需要从源码构建或使用本地 tarball 安装
  • 持久化默认写入 dataRoot 内的 .dsh-arena/state.json；dataRoot 之外的路径会被拒绝
  • 构建需要 Node 24（TypeScript 类型剥离），但运行时可能在其他版本上工作
  • 执行器适配器必须由调用方提供；插件不会自行发明 DSH headless 命令或发起模型调用

DSH-arena DSH 插件的仓库 README 摘录

以下文字摘自 DSH-arena DSH 插件的上游仓库 Apageoflove/DSH-arena 的 README，版权归原作者，仅作引用。

DSH Arena 是 DeepSeek Harness（DSH）的本地实验与评估工作台插件。它拿同一个任务、同一份仓库快照去对比多个候选 profile：先把没过硬性门槛（hard gate）的跑法拦下来，再做 Pareto 排序；导出报告时自动脱敏常见凭据；还带一个 Web 实验台。 ![DSH Arena 界面截图 1](git-img/联想截图_20260815224710.png) ![DSH Arena 界面截图 2](git-img/联想截图_20260815224742.png) ## 现在能做什么 - 原子化的本地持久化存储，运行队列有并发上限，支持中止和超时 - 确定性 hard gates：不满足直接判失败，不进入排序 - Pareto 排名与 winner 汇总 - Web 矩阵界面，实时刷新 - 执行走 adapter 驱动，不猜、不调 DSH 没文档化的 headless 命令 ## 兼容性边界 - 只按官方文档化的 Cordis 契约写：`name`、`apply(ctx, config)`、Schemastery 的 `Config` schema - 不碰 DSH Client/Host 没文档化的内部接口；能力识别用特性探测（`ctx.arena`），不用私有槽位 - 真实 DSH 上的 Web / Headless E2E 还没跑通，所以本仓库不声称 100% 兼容。等真机验证过了再改口 ## 构建 Node 24 自带 TypeScript 类型剥离，构建不需要额外依赖： ```powershell cd dsh-arena npm run build npm test ``` 产物是 `lib/index.js`（host 入口）和 `lib/client.js`（浏览器入口）。package.json 里声明了 `dsh.bundle.patch` 和 `dsh.client`；目前 `private: true`，还没发 npm。 ## 装进 DSH 先构建： ```powershell npm run build ``` 然后在官方 DeepSeek Harness 检出目录里执行（或把 `pnpm dsh` 换成全局安装的 `dsh` 命令）： ```powershell pnpm dsh plugin --profile arena add <本目录路径> pnpm dsh --profile arena --dump-config pnpm dsh --profile arena web ``` 不想走源码目录安装的话，先 `npm pack` 打出本地 tgz，再直接 add 那个文件： ```powershell pnpm dsh plugin --profile a

阅读完整 README仓库许可: MIT

DSH-arena DSH 插件常见问题

如何安装 DSH Arena？

首先在 dsh-arena 目录中运行 `npm run build` 构建插件。然后在 DeepSeek Harness 检出版本中运行 `pnpm dsh plugin --profile arena add <dsh-arena 路径>`，或者使用 `npm pack` 打一个 tarball 包，再运行 `pnpm dsh plugin --profile arena add dsh-arena-0.1.15.tgz`。该插件尚未发布到 npm，因此需要本地安装。

DSH Arena 中的硬门槛（hard gate）是什么？

硬门槛是候选 profile 必须满足的确定性条件，只有通过后才能进入排序阶段。如果某个 profile 未通过硬门槛，它会被立即标记为失败，不参与 Pareto 排序。这让你可以在评估早期就强制执行最低性能阈值。

DSH Arena 可以脱离 DSH 宿主单独使用吗？

不行。DSH Arena 是 DeepSeek Harness 的一个插件，需要 DSH 环境才能运行。它扩展了 DSH 的实验工作台功能，不能独立使用，必须安装到 DSH 客户端/宿主中。

报告中的凭据脱敏是如何工作的？

当导出 JSON、JSONL 或 Markdown 格式的报告时，DSH Arena 会自动扫描字段名和值中是否包含 authorization、token、key、secret、password、cookie 等模式，并在写入输出之前对这些值进行脱敏处理，从而降低敏感信息泄露的风险。

DSH Arena 与无头（headless）DSH 兼容吗？

该插件尚未经过完整的无头 DSH 测试。README 指出 Web/Headless E2E 测试尚未运行，因此不声称 100% 兼容。它设计为遵循文档化的 Cordis 契约，不依赖未文档化的内部接口，但实际的无头使用可能需要进一步验证。