速记员写得快,审稿人忙不过来,最终能省时间吗?
图解原理
投机解码 benchmark 比较的是完整 draft+verify 路径。接受率高只是其中一项,草稿成本、验证成本和回退都影响收益。
先认识这三个词
- acceptance rate
- 按约定分母计算的候选接受比例。
- draft cost
- 生成草稿需要的时间或计算量。
- verify cost
- 目标模型验证草稿的成本。
先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。
闯关题
本课中的「acceptance rate」指什么?
学完这一段,试着做
用一个小动作确认自己理解了;最后再进入官方题目。