GitHub用户反馈
Agent Skill 的 Benchmark 效能声明缺少低成本可信验证
一份宣称 J-Space 显著提升 DeepSeek V4 多项 Agent 基准分数的仓库，被社区用户通过时间-工作量核算指出不可复现（约 1,750 小时 vs 72 小时窗口），质疑 issue 还遭删除。此现象指向一个具体缺口：Agent Skill 的效能声明缺少低成本、可追溯的可信验证渠道。
查看原始信号github:Tiger3807861189/DeepSeek-V4-J-Space-Capability-Realization-Report
目标用户
在 DeepSeek Harness 及各类 Agent Skill 生态中选型、试装和评估工具效果的开发者与 AI Agent 爱好者。
潜在需求
在采用宣称能提升模型能力的 Agent Skill 之前，能以可承担的时间和成本验证其真实效果，并拿到可追溯、不会被删除的证据；而不是只能靠手工工作量估算来推断报告是否可信。
发生场景
该仓库宣称 J-Space 让 DeepSeek V4 在 HLE、NL2Repo、DeepSWE、AutomationBench 等基准上大幅提升并附分数表；潜在使用者想判断能否放心采用，但完整复现约需 1,750 小时与高昂 API 成本，只能靠手工核算时间窗口来推断真伪，质疑又被删除。
来源证据
社区用户逐项核算后指出，报告声称的基准测试总量约合 105,000 分钟（约 1,750 小时），而模型发布到报告发布间隔不足 72 小时，个人即使并发且不眠不休也无法跑完，据此质疑报告不可复现。
min～数小时**（因任务复杂度差异极大） | 模拟真实专业工作，简单任务分钟级，复杂任务可达数小时 | | **AutomationBench（Public）** | 600 个自动化任务 | 10～30 min（典型值） | 在模拟环境中完成完整自动化流程，属长周期任务 | **总工作量 ≈ 105,000 分钟 ≈ 1,750 小时。如果**串行**跑完需要 73 天，不眠不休的。** 这么大的任务量，从 Deepseek 发布新模的 8 月 13 日到你发布 Skill 的 8 月 16 日这些时间里，你给两个模型配上 Skill 跑完这些基准测试，**哪怕只跑一次，哪怕并发的跑，哪怕不眠不休的跑，个人也不可能跑完**。 这还是只考虑任务量，没考虑 API 并发限制，没考虑巨量的花销。**你特么也不想想一下雷达站只跑一个 DeepSWE 就花多久，这还是很多人参与的情况下**。 除非你在 Deepseek 工作，提前拿到了模型且不限量；或者是财力特别雄厚，一个人顶一个师，否则不可能这么快跑完这些基准测试。当然发明了时光机器也行🤣。https://github.com/Tiger3807861189/DeepSeek-V4-J-Space-Capability-Realization-Report/issues/11
为什么值得留意
Skill 宣称能稳定和塑造模型行为的说法正在获得社区关注（"乘着 dsh 火热"），而伪造 Benchmark 的边际成本极低；已有用户因无法验证而展开对抗式工作量核算并要求作者出示证据，说明"可放心采用"所需的验证通道在此生态中存在缺口，值得继续观察。
已有方案
- 社区成员手工逐项核算各 Benchmark 任务量与时间窗口来检验可行性
- 自行运行官方 Benchmark 套件完整复现（核算显示约需 1,750 小时且成本高）
未满足部分
- 报告未逐次标注会话状态与评测条件，单项分数无法追溯
- 质疑 issue 被删除，作者未提供可核实证据
- 完整复现约需 1,750 小时，个人用户无法承担 API 与时间开销
- 真正的 J-Space 介入流程（J-lens 构建与干预搜索）耗时长，现阶段不适合在线推理场景
可能延伸 · 模型推测
- 把 issue 中手工工作量核算自动化，形成 Benchmark 声明的时间-成本可行性审计（模型推测）
- 设计 Skill 的最小抽查或快速复现协议，覆盖少量代表性任务
- 由社区维护 Skill 效能证据清单与评测条件透明化规范（模型推测）
目前未知
- 仓库宣称的 J-Space 能力提升是否存在任何真实效果基础，本信号无法确认
- 该验证缺口是否在 dsh 生态中普遍存在，还是仅由本仓库个案触发
- 作者除删除质疑与拉黑之外是否有未公开的回应或证据，未知
继续核实
- dsh/Agent Skill 生态中，用户是否普遍遇到过效能声明难以低成本验证的情况？现有社区是否已有复现或抽查机制？
- 为获得可信验证，这类用户愿意付出多少时间或成本？
- 作者删除质疑 issue 后，该 Skill 的实际采用与传播情况如何？
主题词
benchmark verificationagent skill evaluationllm capability claimsreproducibilityinference costai skill stability