dongsheng123132/dsh-benchmark
30最近提交 2026年8月15日
dsh-benchmark DSH 插件
dsh-benchmark定义了一个基于固定用例的证据协议：明确的目标和套件版本、文件派生的指纹、有界子进程、原始测量值、版本化评分、内容寻址报告和基线回归比较。它作为一个正式的Codex插件和独立的MCP服务器，提供inspect、run和compare命令。项目专注于确定性执行证据层，不评估主观的LLM质量。
如何安装 dsh-benchmark DSH 插件
dsh plugin --profile benchmark add github:dongsheng123132/dsh-benchmark复制不会执行命令。安装 dsh-benchmark DSH 插件前请核对仓库和版本。
dsh-benchmark DSH 插件数据来源
dsh-benchmark DSH 插件快照日期：2026年8月16日
discovered
dsh-benchmark DSH 插件能做什么
- 注册三个DSH工具：dsh_benchmark_inspect、dsh_benchmark_run、dsh_benchmark_compare
- 使用基于清单的证据模型，包含目标指纹、有界子进程和版本化评分
- 提供安全模型：shell:false、路径遍历防护和机密字段拒绝
- 包含独立的MCP服务器，提供benchmark_manifest_lint和benchmark_report_address工具
- 支持CLI使用，包括inspect、run和compare子命令
dsh-benchmark DSH 插件适合哪些场景
- 对固定的JSONL运行器进行基准测试，验证其性能是否达到基线水平
- 在CI中对DSH插件或工具进行回归测试，具有确定的通过/失败标准
- 使用相同清单和基线比较两个版本的命令行工具
- 验证插件更新不会导致执行延迟或输出稳定性回退
- 生成内容寻址报告，用于审计或合规目的
dsh-benchmark DSH 插件适合谁
- 需要为其工具提供可复现基准测试的DSH插件开发者
- 需要确定性执行证据的DSH工具或插件的维护者
- 使用DeepSeek Harness并希望跨版本跟踪性能回归的团队
dsh-benchmark DSH 插件的限制
- 仅评估命令和JSONL运行器，不评估主观的LLM质量或技能输出
- 需要Node.js 22+，且不提供针对恶意代码的OS沙箱——只运行受信任的可执行文件
- 首个版本专注于确定性度量；原始业务输出被排除在报告之外
- MCP服务器仅接受有界内联JSON，从不执行命令或读取文件系统
dsh-benchmark DSH 插件的仓库 README 摘录
以下文字摘自 dsh-benchmark DSH 插件的上游仓库 dongsheng123132/dsh-benchmark 的 README，版权归原作者，仅作引用。
Reproducible, deterministic benchmark evidence for [DeepSeek Harness](https://github.com/deepseek-ai/DeepSeek-Harness) tools and plugins. This project deliberately does **not** duplicate `dsh-batch-regression`, which runs one shell command repeatedly for median/distribution statistics. `dsh-benchmark` defines an evidence protocol around fixed cases: explicit target and suite revisions, file-derived target fingerprints, bounded argv-only subprocesses, raw measurements, versioned deterministic scoring, content-addressed reports, and baseline regression comparison. The first release evaluates commands and JSONL runners, not subjective LLM quality. Version 0.2.0 is a formal Codex plugin and standalone proof-only MCP server, and uses the namespace export shape required by the stock DSH Web Loader. A real Cordis boot regression test guards that loader contract. Adjacent benchmark skills often grade Skill or LLM quality. This project stays at the deterministic execution-evidence layer: fixed target revisions and cases, raw bounded measurements without raw business output, versioned scoring, content-addressed reports, and baseline regression decisions. ## Evidence model An explicit m
阅读完整 README仓库许可: MIT
dsh-benchmark DSH 插件常见问题
如何安装dsh-benchmark？
在DSH环境中运行 `dsh plugin --profile benchmark add github:dongsheng123132/dsh-benchmark`。这假设你已经安装并配置了DSH CLI。该插件会注册三个工具和一个MCP服务器。
dsh-benchmark的证据模型是什么？
证据模型使用一个清单，其中固定了目标版本、套件名称、可执行文件、边界（超时、输出上限、并发数）、固定argv、期望退出码和哈希值、评分器版本以及阈值规则。每次运行产生一个内容寻址报告，包含原始测量值和期望检查，排除了命令输入和输出正文。
如何创建基准测试清单？
你可以参考仓库中的 `examples/benchmark.example.json` 编写JSON清单。清单必须定义套件、目标、可执行文件、带有argv和可选JSONL stdin的用例、评分器设置和基线阈值。运行 `dsh_benchmark_inspect` 来验证你的清单。
退出码的含义是什么？
退出码0表示所有测试通过。退出码2表示报告或比较已写入，但评分器失败（例如检测到回归）。退出码1表示清单或操作错误（例如无效清单、文件缺失）。
使用不受信任的清单运行dsh-benchmark安全吗？
安全模型防止了shell注入、PATH查找、工作区逃逸和秘密泄露。但它不是OS沙箱——你应该只运行受信任的基准可执行文件。该插件拒绝包含机密字段的清单，并强制限制输出和并发数。