皓月千里

Deepseek-Harness 安装与实测

Deepseek 免费开源了 Vibe Coding 工具 Deepseek-Harness，同时宣称支持 Harness 能力。开源项目非常火，短短一天就超过 70K stars。

Deepseek-Harness 开源

Deepseek-Harness 安装

安装教程

项目地址：https://github.com/deepseek-ai/deepseek-harness

安装部署
git clone https://github.com/deepseek-ai/deepseek-harness.git
cd deepseek-harness
pnpm install
pnpm run build
pnpm dsh web

注意：没有安装 pnpm 要单独下载安装。启动后界面效果：

启动后的界面

首次安装需要配置 Deepseek 的 API Key：

配置 API Key

访问页面即可直接对话进行 Vibe Coding，web 界面和字节 Trae、阿里 Qoder 很类似：

Vibe Coding Web 界面

AI Coding 测评准备

测试项目：桌面端知识库工具

用户导入本地文档，系统建立分块索引，支持自然语言提问并返回带引用来源的回答。

初始脚手架
运行时：Electron 33（主进程 Node.js+Chromium）
前端：React 18 + TypeScript（Vite 构建）
后端：TypeScript 服务层

开发完成后的完整功能演示：

Vibe Coding 实测

为了对比 Deepseek-Harness 的编程和 Harness 的表现，编程工具同时用了字节 Trae，另外给项目单独封装了独立的 Harness 脚手架做对比：

添加 Harness 前后的架构对比图：

添加 Harness 前后架构对比

测评项目功能介绍

将「知识库」通过 Vibe Coding 完成功能开发，需求提示词如下：

# 任务：构建知识库问答工具
## 产品描述
开发一个桌面端个人知识库问答工具。用户可以导入本地文档，系统对文档建立索引，然后用户可以用自然语言提问，系统从文档中检索相关内容并给出有依据的回答。

## 核心功能需求
### 1. 文档导入
- 用户点击"导入文档"按钮，选择本地 `.txt` 或 `.md` 文件
- 导入后文档显示在左侧文档列表中，包含文件名、大小、导入状态
- 文件大小限制 10MB

### 2. 文档索引
- 导入后，用户点击"建立索引"将文档分块存储
- 索引按段落切分，每块约 500 字
- 索引完成后文档状态变为"已索引"，显示分块数量

### 3. 问答功能
- 底部输入框输入问题，点击"提问"按钮
- 系统用关键词匹配方式在已索引分块中检索相关内容
- 返回回答文本 + 引用来源（文档名、分块位置、摘录内容）
- 显示置信度（有引用：0.8，无引用：0.2）
- 每次问答自动保存到历史记录

### 4. 历史记录
- 点击"历史记录"按钮查看所有历史问答
- 以对话气泡形式展示（用户问题在右，系统回答在左）
- 显示时间戳和置信度

## 验收标准

1. 可以导入 `.txt` 或 `.md` 文件，文档出现在列表中
2. 点击"建立索引"后文档状态变为"已索引"
3. 提问后能返回含引用的回答
4. 历史记录中能看到所有问答
5. 重启应用后数据依然存在

在原来的客户端上，一口气开发「文档导入」「文档索引」「问答功能」「历史记录」四个新功能，让 AI 自动化测试验收。

Deepseek-Harness + Deepseek-V4-Pro

知识库项目 starter

项目一致性测试

导入项目代码，项目名叫 starter_0814，在 web 中运行提示词：

介绍项目并启动

1、同一个 Session，Deepseek-Harness 保持了同样的输出结果：

2、不同 Session 对话，每次执行的上下文、Token 花销、执行步骤和输出结果完全不一样！

不同 Session 结果对比 1

不同 Session 结果对比 2

3、换成手写的 Harness 脚手架封装的项目 solution_log，在 Trae IDE 输入同样的提示词「介绍项目并启动」，对比运行效果：

Trae + Harness 脚手架效果 1

Trae + Harness 脚手架效果 2

每次执行的 Token 花销、包含的上下文引用、执行步骤和输出结果几乎保持一样！

功能需求开发能力测试

Deepseek-Harness 测评

第二次 bug

功能最终开发验收，那 Harness 脚手架在其中有没有起作用呢？

Vibe Coding 工具测评对比

切换到 Trae，同样用 Deepseek-V4-pro 开发功能。在没有 Harness 脚手架的情况下：

Harness 在 Trae 上的表现和之前在 Qoder 上的实测类似。目前来看，Deepseek 开源的 Deepseek-Harness 的确没有展现出 Harness 应用的能力，后续有待观察。

Deepseek-Harness 缺乏日志可观测能力

在 Trae 的例子中，通过 Harness 的巧妙设计构建了日志的可观测能力：当出现 Bug 时，不用告诉 AI 详细错误线索，只简单说「程序报错了」，它就能通过 Harness 理解项目运行状态和日志分布，自动诊断并做更精准的根因分析，快速一次性定位 bug 并修复成功。

Harness 日志可观测能力

而 Deepseek-Harness 在直接告知程序错误后，还需要在界面手动输入错误线索，明显偏弱。

实测总结对比

实测总结对比

Deepseek-Harness 总结