跑长流程 Skill 时,上下文到达阈值触发的压缩请求,与正在执行的 Skill 主推理争抢同一模型后端,导致排队超时、会话中断。
优化思路是把主推理与上下文压缩拆成两个独立模型、分后端部署——Skill 继续用本地部署的 Qwen3.8:27B 负责决策,压缩摘要单独交给独立推理服务的 Qwen3-4B,从根上消除资源争抢。
| 组件 | 版本与说明 |
|---|---|
| OpenClaw | 2026.10.2 |
| 主模型后端 | 本地模型服务 + qwen3.8:27b(负责 Skill 全部决策与长流程执行) |
| 压缩/辅助后端 | 独立推理服务(OpenAI 兼容)+ Qwen3-4B,只做上下文摘要,不参与决策 |
| 资源 | 配置建议 |
|---|---|
| GPU 显存 | ≥ 24GB(27B 用 4bit 量化 + 4B 可共存);推荐 48–96GB(如 RTX Pro 6000 96G),并为 27B 与 4B 划分独立 CUDA 上下文或独立卡,避免 KV 缓存与调度相互争抢 |
| 系统内存 | ≥ 64GB,支撑长上下文与可能的 CPU 卸载 |
| 存储 | SSD,预留模型文件、会话快照与上下文落盘空间 |
| 操作系统 | Ubuntu 24.04(示例基线) |
| 上下文窗口 | 主模型服务启动时设置 --ctx-size 32768 |
说明:以上为本文方案的部署基线假设。实际请以你的 GPU 显存、内存规模为准调整量化位数与上下文窗口。
旧架构下主推理和压缩共用一个 27B 模型后端,当 Skill 正在占用 27B 做推理时,token 水位触达阈值触发的压缩摘要请求也打到同一个服务,请求排队、阻塞超时,会话直接报错中断。
flowchart TB
A["Skill 持续执行<br/>每一步都发给本地 27B,token 不断上涨"] --> B["触发上下文压缩<br/>token 接近窗口上限"]
B --> C["压缩请求打到同一后端<br/>本地模型服务 + Qwen3.8:27B"]
C --> D["请求排队、阻塞超时"]
D --> E["Skill 中断<br/>长流程作废、进度丢失"]
Skill 主任务继续用本地部署的 Qwen3.8:27B 负责思考、做计划、执行报表步骤;上下文摘要压缩单独交给独立推理服务部署的 Qwen3-4B 小模型。两个模型后端完全独立,一个负责重思考,一个专门干摘要打杂,请求互不抢占。这个 4B 模型只做历史消息摘要,不参与任务决策。
flowchart TB
A["Skill 持续执行<br/>步骤规划·工具调用·结果判断由 27B 决策"] --> B["token 接近窗口上限<br/>预检判断水位即将触顶"]
B --> C["发起压缩请求 · 同步暂停<br/>主循环暂停,等待摘要返回"]
C -->|"① 压缩请求下发"| H
subgraph comp["压缩流程 · 独立推理服务 4B"]
direction TB
H["收到压缩请求<br/>接管老旧历史,打包压缩"] --> I["生成结构化摘要<br/>提炼目标/已完成/待办/约束,保留最近N轮"]
I --> J["输出摘要<br/>把精简历史交还主流程"]
end
J -->|"② 摘要返回"| D
subgraph resume["主流程恢复"]
direction TB
D["同步等待摘要<br/>不并行处理其他步骤"] --> E["替换旧历史 · 恢复主循环<br/>token 占用下降"]
E --> F["用精简上下文继续跑<br/>接着执行剩余 Skill 步骤"]
end
agents.defaults.model = local/qwen3.8:27b 指定,全部步骤规划、工具调用、结果判断交给 27B;OpenClaw 依据 models.local/qwen3.8:27b.contextWindow = 32768 估算会话 token 占用。compaction.enabled 统一启用,任一命中即执行:
compaction.midTurnPrecheck.enabled 开启后,每轮推理组装上下文前先估算 token,接近 32768 窗口预留水位时主动提前压缩,避免溢出,属预防性手段;compaction.model = compaction/qwen3-4b 指定压缩专用模型(独立推理服务 4B),不再占用主模型;压缩同步插入主循环,由 compaction.timeoutSeconds 限定等待摘要返回的最长时长,并不与主推理并行。保护规则:
3.1 recentTurnsPreserve(最近若干轮原样保留)与 keepRecentTokens(最近一段 token 不压缩)共同保护正在执行的步骤,只压缩更早历史,防止 Agent 忘记当前进度。
3.2 4B 输出结构化摘要(任务目标、已完成内容、剩余待办、异常约束);mode = safeguard 开启摘要校验,qualityGuard 在检测到丢失关键信息时自动重试(maxRetries),保证摘要质量。notifyUser 开启时压缩触发与完成会提示用户,便于观察水位与压缩行为。时序说明:Skill 主流程各步骤严格串行(下一步依赖上一步结果)。压缩请求虽然路由到独立的 4B 推理服务后端、不再占用 27B,但压缩本身是同步插入主循环的:触发时主循环暂停,等 4B 摘要返回并替换历史后才继续下一步,并非异步并行。优化解决的是后端资源争抢导致的超时中断,而非把压缩改成并行执行。
核心改动两块:同时声明主模型与压缩模型两个后端,并在 compaction 里单独指定压缩模型为独立推理服务上的 4B。注意此版本没有 triggerRatio,不要写这个参数,否则报错。
json{
"models": {
"providers": {
"local": { "baseUrl": "http://127.0.0.1:11434/api", "api": "local", "timeoutSeconds": 300 },
"compaction": { "baseUrl": "http://127.0.0.1:8000/v1", "apiKey": "dummy", "api": "openai-completions", "timeoutSeconds": 180 }
},
"local/qwen3.8:27b": { "contextWindow": 32768 }
},
"agents": {
"defaults": {
"model": "local/qwen3.8:27b",
"compaction": {
"enabled": true,
"model": "compaction/qwen3-4b",
"mode": "safeguard",
"timeoutSeconds": 120,
"recentTurnsPreserve": 6,
"keepRecentTokens": 16000,
"qualityGuard": { "enabled": true, "maxRetries": 1 },
"notifyUser": true,
"midTurnPrecheck": { "enabled": true }
}
}
}
}
| 参数 | 说明(Skill 报表场景) |
|---|---|
model | 主推理模型,负责 Skill 全部决策与长流程 |
compaction.model | 核心配置,指定压缩专用模型,走独立推理服务,不与主模型 27B 争抢资源 |
recentTurnsPreserve | 最近 6 轮对话原样保留不压缩,保护正在执行的 Skill 步骤,防止失忆 |
keepRecentTokens | 额外兜底,最近 16000 token 不压缩;与 recentTurnsPreserve 为或关系 |
midTurnPrecheck | 开启轮中预检,提前评估 token 压力,避免直接炸窗口 |
mode: safeguard | 摘要校验模式,摘要丢失关键信息会重试 |
约束:压缩推理服务启动时模型名必须严格是 qwen3-4b,与配置里 compaction/qwen3-4b 后半段一致;主模型服务需已拉取 qwen3.8:27b。
contextWindow 务必填准。
#(注:内容由AI生成)本文作者:Jarvis
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!