编辑
2026-10-29
项目实战经验
00

目录

先说结论
一、Ollama 偷偷帮你做了什么
1. 自动套对话模板(最关键)
2. 默认采样参数偏保守
3. 串行推理,上下文不被抢占
4. 工具调用有解析层
5. 输出流有缓冲合并
6. 其他保护层
二、一张表看清全部差异
三、实战方案:报表 Agent + RAG 高吞吐共存
3.1 核心思路
3.2 请求路由流程
3.3 两套参数配置(可直接复制)
六、常见误区
写在最后

同一个模型,Agent 调用复杂Skill 使用 Ollama 加载的模型乖乖跑完 Skill 中串行的 10 个步骤,vLLM 却跳步摆烂——到底差在哪?

你可能也遇到过这个诡异的场景:同一个 Qwen3.8-27B 模型,用 Ollama 跑 Agent 多步骤任务(比如自动生成报表),10 个步骤老老实实依次执行;换成 vLLM 部署,同样的 prompt、同样的 Skill 定义,模型却跳步骤、提前输出、思考浮于表面——像是"变笨了"。

模型权重完全一样,为什么表现天差地别?本文把这件事彻底讲清楚,并给出混合负载场景下的落地方案。

先说结论

不是 Ollama 更聪明,也不是 vLLM 阉割了模型能力。

模型权重完全一致(同一份 FP8 Qwen3.8-27B),知识储备和推理上限没有任何区别。差异全部来自推理封装层——采样参数、对话模板、KV 缓存策略、输出处理逻辑。

打个比方:模型是一个能力相同的大脑,Ollama 给它配了一套"秘书团队"(格式化指令、保守采样、工具校验、输出缓冲),让它表现得井井有条;vLLM 则让大脑直接裸奔接活,没人帮它整理输入、校验输出,自然容易丢三落四。

flowchart LR
  subgraph ollama["Ollama — 配了秘书团队"]
    direction TB
    A1["自动套对话模板"] --> A2["保守采样默认值"]
    A2 --> A3["串行推理,不抢上下文"]
    A3 --> A4["工具调用自动校验"]
    A4 --> A5["输出流缓冲合并"]
  end
  subgraph vllm["vLLM — 大脑直接裸奔"]
    direction TB
    B1["模板?自己指定"] --> B2["默认高温,自由发散"]
    B2 --> B3["连续批调度,并发抢 KV"]
    B3 --> B4["原始 token 流,来什么发什么"]
    B4 --> B5["没有工具解析层"]
  end
  style ollama fill:#e8f5e9
  style vllm fill:#fff3e0

一、Ollama 偷偷帮你做了什么

很多人以为 Ollama "更听话"是因为模型更强,其实 Ollama 在背后默默加了一整层面向 Agent 工作流的保护机制。下面逐一拆解:

1. 自动套对话模板(最关键)

Ollama 加载模型时,会读取模型附带的对话模板(Chat Template),自动把 system prompt、用户指令、Skill 步骤清单按模型训练时的格式封装好。

Qwen 系列在 Ollama 里的默认模板经过对齐,会强制区分:

  • 哪些是系统级指令(必须遵守)
  • 哪些是步骤约束(一步一步来)
  • 哪些是当前输入(这次要处理的内容)

模型收到格式清晰的输入,自然更容易遵守流程。

vLLM 呢? 如果你不手动指定 --chat-template,它会把所有文本无脑拼接成一大段——模型分不清哪部分是硬性规则、哪部分是步骤清单,直接把 10 条步骤当成"参考信息",跳过去直接给最终答案。

这是 vLLM 跳步骤的头号元凶,占了问题成因的 60% 以上。

2. 默认采样参数偏保守

参数Ollama 默认vLLM 默认
temperature0.3 ~ 0.7(保守)1.0(发散)
top_p0.80.95
repeat_penalty默认开启,动态调节1.0(关闭)

低温度 = 少脑洞、少自由发挥,优先忠实执行指令。对"严格按 10 步走"的 Agent 任务,这正是需要的。

vLLM 的默认参数面向创意写作和自由对话——温度拉满,模型喜欢"优化流程、省略步骤、直接给最终答案"。

3. 串行推理,上下文不被抢占

Ollama 默认单请求串行处理。Agent 一轮一轮发请求时,上下文状态传递稳定,不会被并发请求打乱中间状态。

vLLM 的核心优势是 PagedAttention + 连续批处理——多个请求共享 KV 缓存池。当显存紧张时,早期步骤的 KV 页可能被回收,模型"忘了前面算过的东西",表现为思考变浅、丢失中间结果。

澄清一个常见误解:KV 缓存是按请求严格隔离的,不会跨会话"污染"。真正的风险是全局页式池在显存压力下激进回收早期页,而不是 A 会话的内容混进 B 会话。

4. 工具调用有解析层

Ollama 自带 tool call 解析——模型输出工具调用 JSON 时,Ollama 会校验格式、拦截提前自由文本输出,引导模型走工具分支。如果 JSON 格式错了,还会内置重试引导。

vLLM 没有这一层。模型输出的工具调用就是纯文本,JSON 格式错了直接抛给上层,Agent 框架收到畸形数据只能判定步骤失败。

5. 输出流有缓冲合并

Ollama 的流式返回(SSE)内部会做缓冲:

  • 模型中途输出半截"步骤完成"标记又反悔改写时,Ollama 会合并碎片,不会把半成品抛给上层
  • 抑制模型自发的"自我打断"碎片输出

vLLM 吐出原始 token 流,来什么发什么。Agent 框架拿到半截标记可能误判"步骤已完成",直接切到下一步,流程错位。

6. 其他保护层

保护层Ollama 做了什么vLLM 缺失的影响
消息历史校验校验角色顺序,轻微瑕疵自动修复上层拼接有小抖动就直接进模型,放大问题
截断策略临近上限优先保 system/步骤规则硬截断,可能在一句话中间切断
会话状态保留超时/断连后可续跑HTTP 无状态,断连本轮上下文直接丢失
加载自检自检 tokenizer/模板合法性配置错误静默不告警,排查困难

二、一张表看清全部差异

序号对比维度OllamavLLM(默认)vLLM(调优后)
1Chat Template内置 Qwen 对齐模板需手动 --chat-template手动指定后对齐
2默认 temperature0.3~0.7,保守1.0,发散手动设为 0.4
3请求调度串行单请求,无批抢占连续批 + PagedAttention同左(高吞吐优势)
4Stop Tokens自动带入 eos + 工具标记需手动传入手动传入后对齐
5工具调用解析自带 tool call 解析 + 重试无校验、无重试需上层代码补齐
6消息历史校验校验角色顺序,自动修复原样接收,不校验需上层代码补齐
7流式 token 处理缓冲合并碎片,抑制半截标记裸流原样输出需上层代码补齐
8截断策略优先保 system/步骤规则硬截断,无优先级需上层代码补齐
9KV 缓存回收会话绑定,回收保守全局页式池,激进回收调低 gpu_memory_utilization 缓解
10超时断连会话历史持久保留,可续跑HTTP 无状态,断连丢失需上层代码补齐
11重复惩罚默认开启,动态调节默认关闭(1.0)手动设 repeat_penalty
12加载自检自检 tokenizer/模板/特殊 token加载完直接上线无,需人工验证
13隐性任务引导Modelfile 附带"不要提前总结"纯原生模型偏好通过 system prompt 补偿
14吞吐量较低(串行)高(连续批 + PagedAttention)同左
15模型权重与 vLLM 完全一致与 Ollama 完全一致同左

关键结论:

  • 第 1-5、9、11-13 项:可通过请求参数 + 统一模板 + prompt 补偿对齐
  • 第 6-8、10 项:vLLM 引擎无法原生提供,必须在上层框架代码补齐

三、实战方案:报表 Agent + RAG 高吞吐共存

3.1 核心思路

单套 vLLM 服务,通过请求级参数路由分流两类任务:

  • 报表 Skill 多步骤 Agent:全套对齐 Ollama 行为(保守采样 + 强约束 system + 工具容错),严格按步骤执行
  • 知识库导入/检索/翻译/查询改写:保持裸 vLLM 高吞吐模式,充分发挥 PagedAttention 优势

vLLM 的采样参数是请求级生效,不是服务全局锁定。两类任务共用同一个模型实例、同一份 chat-template,差异只在请求参数和附加 system prompt。

3.2 请求路由流程

flowchart TB
  A["框架收到 Skill 请求"] --> B{"判断 Skill 类型"}
  B -->|"报表/多步骤 Agent"| C["链路 A:Agent 保守模式"]
  B -->|"RAG/翻译/改写/检索"| D["链路 B:高吞吐模式"]

  subgraph agent["链路 A — Agent 保守模式"]
    direction TB
    C --> C1["temperature: 0.4 / top_p: 0.75"]
    C1 --> C2["repeat_penalty: 1.05"]
    C2 --> C3["追加步骤强约束 system prompt"]
    C3 --> C4["max_tokens: 4096"]
  end

  subgraph rag["链路 B — 高吞吐模式"]
    direction TB
    D --> D1["temperature: 0.7 / top_p: 0.9"]
    D1 --> D2["repeat_penalty: 1.0(关闭)"]
    D2 --> D3["无步骤约束"]
    D3 --> D4["max_tokens: 2048"]
  end

  C4 --> E["统一发往同一 vLLM 实例"]
  D4 --> E

  style agent fill:#e8f5e9
  style rag fill:#fff3e0

3.3 两套参数配置(可直接复制)

链路 A:报表 Skill 多步骤 Agent(对齐 Ollama)

json
{ "temperature": 0.4, "top_p": 0.75, "repeat_penalty": 1.05, "max_tokens": 4096, "stop": [" **链路 B:知识库导入/检索/翻译/查询改写(高吞吐)** ```json { "temperature": 0.7, "top_p": 0.9, "repeat_penalty": 1.0, "max_tokens": 2048, "stop": ["<|endoftext|>"] }

翻译场景 temperature 取 0.2(忠实度优先),不走 0.7 档。

3.4 两种架构方案对比

维度方案 1:单 vLLM + 路由(推荐)方案 2:双 vLLM 隔离
架构一个 vLLM 实例,按 Skill 类型路由参数两个 vLLM 实例,Agent 专用 + RAG 专用
显存占用一份模型权重两份模型权重,显存翻倍
运维复杂度低,单进程高,双进程 + 端口管理
KV 隔离共享池,存在抢占风险完全隔离,互不干扰
96G 可行性可行两份 27B 不可行;大小模型混合可以
稳定性需限流 + 错峰缓解最接近 Ollama 体验

3.5 混合部署架构

flowchart TB
  subgraph openclaw["上层路由层"]
    direction TB
    R1["报表 Skill"] -->|"Agent 保守参数"| Router["请求路由器"]
    R2["RAG/翻译/改写"] -->|"高吞吐参数"| Router
  end

  Router --> VLLM

  subgraph vllm_instance["vLLM 单实例(统一模型 + 统一模板)"]
    direction TB
    VLLM["Qwen3.8-27B FP8"]
    VLLM --> KV["全局 KV 缓存池"]
  end

  KV -.->|"显存紧张时早期页可能被回收"| Warning["报表 Agent 步骤记忆丢失风险"]

  subgraph mitigation["缓解措施"]
    direction TB
    M1["gpu_memory_utilization <= 0.80"]
    M2["报表 Agent 并发限制 = 1"]
    M3["大批量 RAG 导入错峰执行"]
    M4["max-model-len 预留足够 KV 空间"]
  end

  style openclaw fill:#e3f2fd
  style vllm_instance fill:#fff3e0
  style mitigation fill:#fce4ec

3.6 方案 1 的风险与缓解

最大隐患:两类请求混在同一个 vLLM 批调度队列,RAG 大量短请求会抢占批槽,挤压报表 Agent 长会话的 KV 页。

缓解措施(按优先级):

  1. --gpu-memory-utilization 不超过 0.80,预留 KV 缓冲空间
  2. 报表 Agent 会话限制并发 = 1,RAG 任务单独设置并发上限
  3. --max-model-len 给报表会话预留足够 KV 空间
  4. 业务层面错峰:大批量知识库导入放在报表任务空闲时段

四、上层框架必须补齐的保护逻辑

以下能力 vLLM 引擎无法原生提供,必须在上层框架代码中实现:

序号保护层实现要点
1消息历史校验校验 messages 角色顺序,过滤畸形历史,自动修复轻微结构问题
2流式 token 缓冲识别半截"步骤完成"标记,等完整标记再触发步骤跳转
3工具调用容错Tool Call JSON 格式校验,解析失败时自动补发重试提示词
4输出截断兜底接近 max_tokens 时引导输出步骤结束标记
5会话上下文持久化超时/断连后保留会话历史,支持续跑

参数只是基础对齐;报表链路的稳定性保护层,是上层框架要新增的一层中间处理逻辑。 不补这一层,即使参数全部和 Ollama 一致,遇到流碎片、畸形工具输出依然会跳步骤。


五、选型决策树

flowchart TB
  Start["选择推理引擎"] --> Q1{"任务类型?"}

  Q1 -->|"纯 Agent 多步骤<br/>报表/规划/工具调用"| A["优先 Ollama"]
  Q1 -->|"纯 RAG 高吞吐<br/>导入/检索/翻译/改写"| B["优先 vLLM"]
  Q1 -->|"混合负载<br/>Agent + RAG 共存"| C["vLLM + 请求级路由"]

  A --> A1["开箱即用,调试成本最低"]
  B --> B1["裸参数即可,吞吐拉满"]
  C --> C1["统一模板 + 分流采样参数"]
  C1 --> C2["上层框架补齐保护层逻辑"]
  C2 --> C3["限流隔离 + 错峰调度"]

  style A fill:#e8f5e9
  style B fill:#fff3e0
  style C fill:#e3f2fd
场景推荐引擎理由
调试 Skill、编排复杂多步骤报表Ollama开箱即听话,调试成本最低
稳定上线、多并发报表vLLM(调优后)吞吐远高于 Ollama,调优后能力对齐
知识库批量导入、检索、翻译vLLM(裸参数)充分发挥 PagedAttention 优势
混合负载(报表 + RAG)vLLM + 路由单实例省显存,需限流隔离
裸默认 vLLM 对接 Agent 工作流不推荐就是跳步骤、思考弱的根源

六、常见误区

误区:vLLM 推理更快 = 理解更强;Ollama 慢一点 = 推理更强。

事实:速度是调度层的特性,和模型推理能力、指令遵循是两套东西。vLLM 只是 token 吐得快,但采样发散、格式错乱时,越快越容易提前输出错误结果,看上去就是"思考很浅"。


写在最后

回到开头的问题:同一个模型,为什么 Ollama 和 vLLM 表现差这么多?

答案很简单——Ollama 不是一个"裸引擎",它是一整套面向 Agent 工作流的运行时保护层。vLLM 是一个极致性能导向的推理引擎,它把所有"让模型表现得稳定可靠"的工作都交给了上层。

所以:

  • 如果你只做 Agent 多步骤任务:Ollama 开箱即用,省心
  • 如果你需要高吞吐:vLLM 调好参数 + 上层补齐保护层,能力完全对齐
  • 如果你两者都要:单 vLLM 实例 + 请求级路由 + 限流隔离,性价比最高

记住:模型没变,变的是它周围的"秘书团队"。

本文作者:Jarvis

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!