读菜单与做菜速度不同,分成两条生产线就一定更快吗?
图解原理
Prefill 处理输入,Decode 逐步生成。拆成两个池像把备菜和出菜分工,但两边速度不匹配会产生新队列,状态交接也有成本。
先认识这三个词
- prefill
- 处理输入 token 并建立缓存状态。
- decode
- 利用历史缓存逐 token 生成。
- disaggregation
- 把两个阶段安排到不同资源池。
先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。
闯关题
本课中的「prefill」指什么?
学完这一段,试着做
用一个小动作确认自己理解了;最后再进入官方题目。