MC5lan/dsh-multimodal
51最近提交 2026年8月15日
dsh-multimodal DSH 插件
该插件为 DeepSeek Harness 添加视觉和图像生成功能。用户可以在对话中粘贴图片，由配置的视觉提供者进行转录，然后 DeepSeek 继续解决问题。它还支持通过可插拔后端生成图像，具有自动故障转移和丰富的 UI。
如何安装 dsh-multimodal DSH 插件
dsh plugin --profile web add https://github.com/MC5lan/dsh-multimodal复制不会执行命令。安装 dsh-multimodal DSH 插件前请核对仓库和版本。
dsh-multimodal DSH 插件数据来源
dsh-multimodal DSH 插件快照日期：2026年8月16日
discovered
dsh-multimodal DSH 插件能做什么
- 在聊天中粘贴图片，获得错误信息、代码、UI 文本的逐字转录。
- 根据需求使用配置的后端生成图像，活动后端失败时自动切换到下一个后端。
- 通过粘贴密钥自动检测平台（密钥指纹 → 端点探测），一键接入。
- 通过显式的 `extract_text` 函数从图像中提取文本（OCR），可在任何会话中使用。
- 内置转录模式：错误修复、图表转SQL、设计转代码。
dsh-multimodal DSH 插件适合哪些场景
- 调试：粘贴错误截图，获取转录和 DeepSeek 的修复建议。
- 设计：粘贴 UI 原型，要求生成 HTML/CSS 代码。
- 数据分析：粘贴图表，获取用于分析的 SQL/Pandas 代码。
- 通用：要求 DeepSeek 生成图像，在对话中直接得到图片。
dsh-multimodal DSH 插件适合谁
- 使用 DeepSeek Harness 进行编码辅助、调试和文档编写的开发者。
- 需要将图像理解（截图、图表）与 DeepSeek 推理结合的用户。
dsh-multimodal DSH 插件的限制
- 需要 Node.js 18+ 和 DeepSeek Harness 0.1.0-rc.6+。
- 没有内置模型或提供者；用户必须自行配置视觉端点和图像后端。
- 视觉转录质量取决于配置的第三方 API，延迟和准确性因服务而异。
- 插件仍处于早期开发阶段（0.2.x 版本），配置和 API 可能发生变化。
dsh-multimodal DSH 插件的仓库 README 摘录
以下文字摘自 dsh-multimodal DSH 插件的上游仓库 MC5lan/dsh-multimodal 的 README，版权归原作者，仅作引用。
English | [简体中文](README.zh.md) Give DeepSeek a pair of eyes and a paintbrush: paste a screenshot or image into the conversation and the vision provider **you configured** first transcribes it verbatim (error messages, code, UI text preserved), then **DeepSeek keeps solving your problem** — all in the same turn, no extra steps. When an illustration is needed, DeepSeek automatically calls the image backend and the generated pictures appear right in the conversation. > **Blank slate by design**: this plugin ships **no built-in models, providers, or backends**. Vision endpoints, image backends, and models are all declared by *you* — plug in whatever API you already have (DeepSeek, Zhipu, Aliyun, SiliconFlow, ModelScope, Xfyun, Qianfan, local Ollama, …). Nothing is preloaded, nothing is assumed. > **Compatibility**: built for [DeepSeek Harness](https://github.com/deepseek-ai/deepseek-harness) `0.1.0-rc.6` (Web and headless). See [CHANGELOG](CHANGELOG.md). ## Features | Scenario | Behavior | |---|---| | Plain-text chat | Straight to the DeepSeek API (unchanged) | | Image + question (e.g. error screenshot) | Your configured vision provider "looks" first → transcribes to text → **Deep
阅读完整 README仓库许可: MIT
dsh-multimodal DSH 插件常见问题
如何安装 dsh-multimodal？
你可以通过 `dsh plugin --profile web add https://github.com/MC5lan/dsh-multimodal` 命令安装，或者克隆仓库后本地添加。该插件需要 DeepSeek Harness 0.1.0-rc.6+ 和 Node.js 18+。安装后重启 DSH，设置页面会出现“多模态”选项。
支持哪些视觉提供者？
任何兼容 OpenAI 的视觉端点都可以使用。插件提供了智谱、百炼、讯飞、魔搭、硅基流动、千帆和本地 Ollama 的预设卡片。你也可以通过 `extraProviders` 添加自定义端点。必须先在设置中配置视觉提供者，转录功能才能生效。
是否需要将图片发送给 DeepSeek？
不需要。图片永远不会发送到 DeepSeek 的 API。它们由你配置的视觉提供者进行转录，只有转录文本被传递给 DeepSeek。这保护了你的图片数据隐私，并绕过了 DeepSeek 自身的图像限制。
粘贴密钥自动连接是如何工作的？
在多模态设置页面的快速接入框中粘贴一个 API 密钥。插件会先尝试通过密钥指纹匹配平台，然后向已知端点发送 `/models` 探测进行确认。识别成功后，它会自动配置端点、允许列表、凭据、模型列表，并一步启用视觉和图像生成。
能否使用本地模型进行视觉识别？
可以。插件包含一键配置 Ollama 本地视觉模型的预设。这可以将敏感图片保留在你的机器上，无需外部 API 密钥。你也可以将任何本地端点作为自定义提供者添加，只需将其放入 `trustedBaseUrls` 列表中即可。