编辑
2026-10-29
项目实战经验
00

目录

版本与硬件配置说明
软件版本
硬件配置(部署基线假设)
根因分析(旧架构)
优化方案:主推理与压缩分离
核心思路
优化后完整运行流程
OpenClaw 配置(2026.10.2 适配)
收益与局限
收益
局限

跑长流程 Skill 时,上下文到达阈值触发的压缩请求,与正在执行的 Skill 主推理争抢同一模型后端,导致排队超时、会话中断。

优化思路是把主推理与上下文压缩拆成两个独立模型、分后端部署——Skill 继续用本地部署的 Qwen3.8:27B 负责决策,压缩摘要单独交给独立推理服务的 Qwen3-4B,从根上消除资源争抢。

版本与硬件配置说明

软件版本

组件版本与说明
OpenClaw2026.10.2
主模型后端本地模型服务 + qwen3.8:27b(负责 Skill 全部决策与长流程执行)
压缩/辅助后端独立推理服务(OpenAI 兼容)+ Qwen3-4B,只做上下文摘要,不参与决策

硬件配置(部署基线假设)

资源配置建议
GPU 显存≥ 24GB(27B 用 4bit 量化 + 4B 可共存);推荐 48–96GB(如 RTX Pro 6000 96G),并为 27B 与 4B 划分独立 CUDA 上下文或独立卡,避免 KV 缓存与调度相互争抢
系统内存≥ 64GB,支撑长上下文与可能的 CPU 卸载
存储SSD,预留模型文件、会话快照与上下文落盘空间
操作系统Ubuntu 24.04(示例基线)
上下文窗口主模型服务启动时设置 --ctx-size 32768

说明:以上为本文方案的部署基线假设。实际请以你的 GPU 显存、内存规模为准调整量化位数与上下文窗口。

根因分析(旧架构)

旧架构下主推理和压缩共用一个 27B 模型后端,当 Skill 正在占用 27B 做推理时,token 水位触达阈值触发的压缩摘要请求也打到同一个服务,请求排队、阻塞超时,会话直接报错中断。

flowchart TB
  A["Skill 持续执行<br/>每一步都发给本地 27B,token 不断上涨"] --> B["触发上下文压缩<br/>token 接近窗口上限"]
  B --> C["压缩请求打到同一后端<br/>本地模型服务 + Qwen3.8:27B"]
  C --> D["请求排队、阻塞超时"]
  D --> E["Skill 中断<br/>长流程作废、进度丢失"]

优化方案:主推理与压缩分离

核心思路

Skill 主任务继续用本地部署的 Qwen3.8:27B 负责思考、做计划、执行报表步骤;上下文摘要压缩单独交给独立推理服务部署的 Qwen3-4B 小模型。两个模型后端完全独立,一个负责重思考,一个专门干摘要打杂,请求互不抢占。这个 4B 模型只做历史消息摘要,不参与任务决策。

优化后完整运行流程

flowchart TB
  A["Skill 持续执行<br/>步骤规划·工具调用·结果判断由 27B 决策"] --> B["token 接近窗口上限<br/>预检判断水位即将触顶"]
  B --> C["发起压缩请求 · 同步暂停<br/>主循环暂停,等待摘要返回"]
  C -->|"① 压缩请求下发"| H
  subgraph comp["压缩流程 · 独立推理服务 4B"]
    direction TB
    H["收到压缩请求<br/>接管老旧历史,打包压缩"] --> I["生成结构化摘要<br/>提炼目标/已完成/待办/约束,保留最近N轮"]
    I --> J["输出摘要<br/>把精简历史交还主流程"]
  end
  J -->|"② 摘要返回"| D
  subgraph resume["主流程恢复"]
    direction TB
    D["同步等待摘要<br/>不并行处理其他步骤"] --> E["替换旧历史 · 恢复主循环<br/>token 占用下降"]
    E --> F["用精简上下文继续跑<br/>接着执行剩余 Skill 步骤"]
  end
  1. 启动 Skill 长流程任务:主模型由 agents.defaults.model = local/qwen3.8:27b 指定,全部步骤规划、工具调用、结果判断交给 27B;OpenClaw 依据 models.local/qwen3.8:27b.contextWindow = 32768 估算会话 token 占用。
  2. 两种触发压缩,由 compaction.enabled 统一启用,任一命中即执行:
    • 预检触发:compaction.midTurnPrecheck.enabled 开启后,每轮推理组装上下文前先估算 token,接近 32768 窗口预留水位时主动提前压缩,避免溢出,属预防性手段;
    • 兜底触发:若预检未拦截或单步 token 突增越界,主模型请求实际超窗、后端返回"上下文超限"报错,立即启动压缩重试,属补救性最后防线;
    • 两者关系:预检在前、兜底在后,互为补充,确保长 Skill 流程无论何种情况都以压缩续跑、不中断。
  3. 触发后压缩请求路由到独立后端:由 compaction.model = compaction/qwen3-4b 指定压缩专用模型(独立推理服务 4B),不再占用主模型;压缩同步插入主循环,由 compaction.timeoutSeconds 限定等待摘要返回的最长时长,并不与主推理并行。保护规则: 3.1 recentTurnsPreserve(最近若干轮原样保留)与 keepRecentTokens(最近一段 token 不压缩)共同保护正在执行的步骤,只压缩更早历史,防止 Agent 忘记当前进度。 3.2 4B 输出结构化摘要(任务目标、已完成内容、剩余待办、异常约束);mode = safeguard 开启摘要校验,qualityGuard 在检测到丢失关键信息时自动重试(maxRetries),保证摘要质量。
  4. 用摘要替换旧上下文,token 占用降下来。
  5. 回到主循环,用精简上下文继续请求主模型跑剩余 Skill 流程;notifyUser 开启时压缩触发与完成会提示用户,便于观察水位与压缩行为。

时序说明:Skill 主流程各步骤严格串行(下一步依赖上一步结果)。压缩请求虽然路由到独立的 4B 推理服务后端、不再占用 27B,但压缩本身是同步插入主循环的:触发时主循环暂停,等 4B 摘要返回并替换历史后才继续下一步,并非异步并行。优化解决的是后端资源争抢导致的超时中断,而非把压缩改成并行执行。

OpenClaw 配置(2026.10.2 适配)

核心改动两块:同时声明主模型与压缩模型两个后端,并在 compaction 里单独指定压缩模型为独立推理服务上的 4B。注意此版本没有 triggerRatio,不要写这个参数,否则报错。

json
{ "models": { "providers": { "local": { "baseUrl": "http://127.0.0.1:11434/api", "api": "local", "timeoutSeconds": 300 }, "compaction": { "baseUrl": "http://127.0.0.1:8000/v1", "apiKey": "dummy", "api": "openai-completions", "timeoutSeconds": 180 } }, "local/qwen3.8:27b": { "contextWindow": 32768 } }, "agents": { "defaults": { "model": "local/qwen3.8:27b", "compaction": { "enabled": true, "model": "compaction/qwen3-4b", "mode": "safeguard", "timeoutSeconds": 120, "recentTurnsPreserve": 6, "keepRecentTokens": 16000, "qualityGuard": { "enabled": true, "maxRetries": 1 }, "notifyUser": true, "midTurnPrecheck": { "enabled": true } } } } }
参数说明(Skill 报表场景)
model主推理模型,负责 Skill 全部决策与长流程
compaction.model核心配置,指定压缩专用模型,走独立推理服务,不与主模型 27B 争抢资源
recentTurnsPreserve最近 6 轮对话原样保留不压缩,保护正在执行的 Skill 步骤,防止失忆
keepRecentTokens额外兜底,最近 16000 token 不压缩;与 recentTurnsPreserve 为或关系
midTurnPrecheck开启轮中预检,提前评估 token 压力,避免直接炸窗口
mode: safeguard摘要校验模式,摘要丢失关键信息会重试

约束:压缩推理服务启动时模型名必须严格是 qwen3-4b,与配置里 compaction/qwen3-4b 后半段一致;主模型服务需已拉取 qwen3.8:27b。

收益与局限

收益

  • 解决压缩请求与主推理抢模型队列导致 Skill 中断的核心问题。
  • 4B 小模型摘要速度快、显存开销低、吞吐更好。
  • 大模型专心复杂推理,小模型专门做摘要打杂,分工清晰,是工业级 Agent 常用方案。

局限

  • 摘要是有损压缩:4B 偶尔漏掉细碎信息;报表这类线性任务很稳,极端复杂多分支任务可换成 8B 做压缩。
  • OpenClaw 原生压缩是同步等待摘要返回,极端场景仍会短暂阻塞主循环;生产级方案需自定义插件改成异步。
  • 主模型服务不返回精确 token 计数,OpenClaw 本地估算存在少量误差,contextWindow 务必填准。 #(注:内容由AI生成)

本文作者:Jarvis

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!