dsh-eval DSH 插件

dsh-eval 是一个可安装的 DeepSeek Harness 评估插件，可通过无头 dsh 配置运行基准测试用例，将会话日志采集为追踪数据，计算运行指标，并生成 JSON 与 Markdown 报告。它还支持成对运行对比、LLM 评审、已记录日志回放，以及导入 Codex 或 Claude Code 日志。

ui-productivity terminal developer-tools security-policy skills-workflows remote-executioneval

如何安装 dsh-eval DSH 插件

dsh plugin --profile eval add dsh-eval

复制不会执行命令。运行前请核对仓库和版本。

数据来源

快照日期：2026年8月15日

indexed

dsh-eval DSH 插件能做什么

通过无头 dsh 子进程跨测试用例和试验次数运行 YAML 定义的基准测试
将持久化会话日志采集为试验追踪数据，并合并子智能体日志
计算任务、工具、工具选择、步骤、令牌、上下文、延迟、成本、重试和无效工具调用指标
支持脚本化任务检查和预期工具匹配
支持通过可选 LLM 评审配置进行最终答案评分和幻觉标记
生成 JSON 运行结果和 Markdown 报告
通过带符号的 B 减 A 差值以及胜/负/平统计比较两次运行
支持回放已记录日志，以及导入 Codex 或 Claude Code 会话日志

dsh-eval DSH 插件适合哪些场景

对 DeepSeek Harness 智能体或技能进行回归测试
比较两种智能体、提示词、模型或配置变体
使用已记录日志在 CI 中运行可重复的基准测试套件
分析工具选择、任务完成率、延迟、令牌使用量和估算成本
将 Codex 或 Claude Code 会话日志转换为评估运行结果

dsh-eval DSH 插件适合谁

DeepSeek Harness 插件和智能体开发者
维护智能体基准测试套件的团队
评估智能体配置或模型变更的工程师

dsh-eval DSH 插件的限制

该包面向官方 @deepseek-ai 发行版，并使用 0.1.0-rc.6 对等依赖。
执行基准测试需要 dsh 启动器，并且每个测试用例和试验都会运行一个无头 dsh 子进程。
任务成功率和工具选择指标依赖于基准测试中的 expected.check 与 expected.tool 配置。
基于 LLM 的最终答案评分和幻觉标记需要配置 judge。
并行试验执行和 Web 仪表板被列为路线图项目，并非当前功能。

客观检查信号

这些信号来自公开元数据扫描，不是本站安全认证。

license declared
GitHub reports the repository license as MIT.
info
package manifest not found
No root package.json was captured in the latest GitHub snapshot.
info
source available
Public GitHub source metadata is available for this registry snapshot.
info

dsh-eval DSH 插件的相关选择

dsh-automation

在全新的 DeepSeek Harness Agent 会话中按计划运行独立编码任务，并提供工作区范围控制和持久化运行历史。

dsh-agent-messaging

Cross-session agent-to-agent messaging for DeepSeek Harness — address another session by name and deliver a message into its inbox.

dsh-mnemon

Cross-agent, local-first persistent memory plugin for DeepSeek Harness (DSH), powered by Mnemon. It shares long-term memory across Mnemon-enabled agents and adds runtime memory, searchable project documents, semantic recall, knowledge graph, and a Sidebar UI.

awesome-deepseek-harness

A curated list of plugins, skills, MCP servers, patch/profile layers, orchestrators & UIs for DeepSeek Harness (DSH). Visualization · PPT · Coding · Agents · Loops (auto-research) and more. #dsh

dsh-eval DSH 插件常见问题

dsh-eval DSH 插件是什么？

dsh-eval 是当前 DSH 插件快照收录的项目。页面基于仓库元数据和已核对的说明整理，运行前仍应查看上游仓库。

如何安装 dsh-eval DSH 插件？

页面展示来源记录中的安装命令。复制动作不会执行命令，运行前请确认 package、profile 和版本仍与上游文档一致。

dsh-eval 使用哪个 DSH profile？

dsh-eval 快照记录的 profile 是 eval。DSH 版本变化可能调整 profile 约定，安装前请再次核对。

dsh-eval 与当前 DSH 版本兼容吗？

当前数据没有提供可验证的兼容版本矩阵。建议先确认最近提交、release 和 DSH 官方变更，再在可回滚的 profile 中测试。

dsh-eval 加载失败怎么办？

先检查安装命令、profile、依赖安装日志和 Cordis 启动输出。再对照本站排错页与上游 issue，保留完整报错串便于定位。

dsh-eval 有哪些替代 DSH 插件？

页面列出的相关插件来自当前快照的关联结果，只能作为候选。请按能力、最近维护时间、安装方式和限制逐项比较。