返回关卡地图
闯关题:0 / 3 XP 0 / 300

Level 38 | 零基础导学关卡

Prefill / Decode 分离

Prefill / Decode Disaggregation

Prefill 处理输入,Decode 逐步生成。拆成两个池像把备菜和出菜分工,但两边速度不匹配会产生新队列,状态交接也有成本。

本课官方 Notebook ↗
38_Prefill_Decode_Disaggregation.ipynb 推理优化推理服务PD Disaggregation
Mission 1 01 / 建立直觉

读菜单与做菜速度不同,分成两条生产线就一定更快吗?

图解原理

Prefill 处理输入,Decode 逐步生成。拆成两个池像把备菜和出菜分工,但两边速度不匹配会产生新队列,状态交接也有成本。

先认识这三个词

prefill
处理输入 token 并建立缓存状态。
decode
利用历史缓存逐 token 生成。
disaggregation
把两个阶段安排到不同资源池。
试着说给朋友听

先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。

闯关题

本课中的「prefill」指什么?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 2 02 / 操作与推演

把一个小例子算到最后

图解原理

先用默认数值手算,再只改一个参数。让结果来检验你的猜想。

  1. 看两段能力

    一个简化流水线每秒能 prefill 8 个请求、decode 4 个请求,稳定完成率最多是每秒 4 个。

  2. 加错地方

    把 prefill 从 8 加到 16,decode 仍是 4,瓶颈没有移动。

  3. 算交接成本

    还要搬运 KV 状态并排队。容量公式只给出理想上界,不等于真实延迟。

动手实验室 / 只在浏览器中演示

两段生产线,谁限制了完成率?

只改变一个池的处理能力,观察瓶颈何时转移。

教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。

闯关题

理想两段能力为 8 与 4 请求/秒,完成率上限是多少?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 3 03 / 纠错与迁移

从会看,走到会写与会判断

图解原理

下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。

读懂这段最小 Python

prefill_capacity, decode_capacity = 8, 4
ideal_capacity = min(prefill_capacity, decode_capacity)
print(ideal_capacity)  # 4 requests/s (ideal bound)

先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。

最容易踩的坑

看到拆池后某一阶段更快就宣布端到端更快。要看瓶颈池、交接和同一请求分布。

去官方题目做什么

  1. 到官方 Notebook 阅读题目函数与测试;先写出输入、输出和一个最小例子。
  2. 把本课手算过程转换成实现,先跑最小测试,再检查空输入、边界值或未达门槛的情况。
  3. 记录一个与预期不同的结果,并用本课术语说明原因。

闯关题

同学提出下面的做法,哪一项会导致本课讨论的误判?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

把理解变成自己的代码

准备好,去官方题目试一试

在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。

前往本课官方 Notebook ↗

这节课会遇到的代码对象

summarize_request_mix · plan_pd_split · evaluate_pd_decision

先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。

练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。

完成 3 道闯关题后,本关即算完成;作业 checklist 用来辅助你回 notebook 练习。
进度只保存在当前浏览器 localStorage,分享 HTML 不会带走你的记录。
上一关:L37 下一关:L39