Lode 需求雷达
--卡片
--主题
--失败
GitHub项目说明 · 非用户反馈

两阶段工具目录引导:先 Minimal 锚定后 Standard 全工具,缓解 LLM 首轮轨迹退化

在 DeepSeek Harness 的 Project2 评测中,DeepSeek V4 Pro 在完整 Standard/PTC 工具目录下得分 91/92,而官方 Minimal 预设为 99/96;Minimal 分数高但工具面窄。该项目用“首轮只暴露 Minimal 真实工具 schema、首次工具调用或回复后切到 Standard 全目录”的两阶段预设,跑出 98/99 分且整个过程只出现两次工具目录快照。

查看原始信号github:xiaobright/dsh-anchored-standard

目标用户

使用 DeepSeek Harness 与 DeepSeek V4 Pro 运行或评测 agent 任务、既要首轮轨迹稳定又要完整工具目录的开发者。

潜在需求

需要一种既能保住 Minimal 式首轮轨迹质量、又能在后续提供 Standard 完整工具目录的机制;具体做法是首轮只用 Minimal 的真实工具 schema 并屏蔽 AGENTS.md/技能注入,达成首个工具调用或回复后再释放全部工具。

发生场景

在 Project2 评估中加入完整工具目录后,V4 Pro 的得分从 Minimal 的 99/96 掉到 Standard/PTC 的 91/92,首行“let me”出现率上升。有人尝试用 maxTokens 限制首轮输出修复,但被 adapterDefaults 覆盖失效;issue #11 的 45 会话受控实验证明在 256000 maxTokens 下,Minimal 工具 schema 5/5 锚定,Standard 系 11/11 失败,工具 schema 才是决定性变量。

来源证据

在 Project2 评估中,DeepSeek V4 Pro 在 Standard/PTC 工具预设下得分 91/92,在官方 Minimal 预设下得分 99/96;永久停留在 Minimal 会放弃 Standard 更广泛的工具集。

Why DeepSeek V4 Pro conditions strongly on the API-visible tool catalog. In the Project2 evaluation, Standard and PTC produced scores of 91 and 92, while the official Minimal preset produced 99 and 96. Permanently staying on Minimal, however, gives up the Standard preset's broader tool set. Anchored Standard separates initial trajectory selection from later tool use: 1. Keep the Minimal complete system prompt. 2. Expose the Minimal preset's REAL tool schemas — persistent `bash` +
https://github.com/xiaobright/dsh-anchored-standard

为什么值得留意

该信号把“API 可见工具目录”从实现细节变成可测量的行为变量,并展示了输出上限之外的另一条可靠修复路径。即使只针对 DeepSeek V4 Pro 一个模型,其控制实验(5/5 vs 11/11)也为 agent 预设、插件设计和推理轨迹追踪提供了可复用的因果证据,容易引发继续验证与移植。

已有方案

  • 官方 Minimal preset:高分但只有 bash + str_replace_editor,工具面窄
  • Standard/PTC preset:工具全但首轮轨迹标准式,得分低
  • issue #7 的 bootstrapMaxTokens 修复:在 rc.5 包中被 adapterDefaults 覆盖而不生效

未满足部分

  • 单一预设无法同时提供 Minimal 的轨迹质量和 Standard 的工具全集
  • maxTokens 级首轮限制在实际包里被 adapter 默认覆盖,位置不对
  • AGENTS.md/技能目录等自动注入会在首轮干扰锚定

可能延伸 · 模型推测

  • 将两阶段/按需工具目录暴露机制推广到 Claude、GPT 等其他 agent 框架的预设体系
  • 把 promoteOn 触发条件(tool-call 或 assistant-message)做成可调策略供不同任务选择
  • 将首轮注入屏蔽策略复用到需要纯净上下文的评测或调试场景

目前未知

  • 核心实验来自项目作者自身,缺少独立第三方用户的复现
  • 结论基于 DeepSeek V4 Pro 单模型与特定端点,其他模型的适用性未知
  • Project2 分数与首行语言指标能否代表真实任务质量尚未验证
  • 两阶段切换在长时间多轮会话中是否引入新的失效模式未知

继续核实

  • 其他主流 LLM(如 Claude、GPT、Qwen)的首轮轨迹是否同样受 API 可见工具目录影响?
  • Standard 25 个工具中哪些条目或 schema 差异导致轨迹退化?
  • 屏蔽 AGENTS.md/技能目录注入的做法在多大程度上可迁移到其他 agent 框架?
  • 除 persistent PTY bash 外,是否还有其它工具组合也能达到 5/5 锚定?

主题词

agent presettool catalogmodel trajectoryfirst-request anchoringllm tool use

管理令牌