返回关卡地图
闯关题:0 / 3 XP 0 / 300

Level 35 | 零基础导学关卡

多 Token 解码

Multi-Token Decoding

草稿模型像速记员,目标模型像审稿人。后面的候选依赖前面的上下文,所以第一个错误会让后续草稿失去原先的条件。

本课官方 Notebook ↗
35_Multi_Token_Decoding.ipynb 推理优化解码Multi-Token Decoding
Mission 1 01 / 建立直觉

草稿一次写四个字,为什么不能跳过错误继续抄?

图解原理

草稿模型像速记员,目标模型像审稿人。后面的候选依赖前面的上下文,所以第一个错误会让后续草稿失去原先的条件。

先认识这三个词

proposal
草稿提出的一串候选 token。
verify
目标模型按规则验证候选。
accepted prefix
从开头连续通过的部分。
试着说给朋友听

先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。

闯关题

本课中的「proposal」指什么?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 2 02 / 操作与推演

把一个小例子算到最后

图解原理

先用默认数值手算,再只改一个参数。让结果来检验你的猜想。

  1. 提出草稿

    本轮提议 4 个 token。假设课堂验证结果依次为 对、对、错、对。

  2. 在首错处停止

    只能接受前 2 个,不能把第 4 个“对”捡回来,因为它依赖未通过的第 3 个。

  3. 记录推进和成本

    回退规则还可能增加目标 token;实际实现需要记录 accepted、fallback 和验证成本,不能把候选数等同推进数。

动手实验室 / 只在浏览器中演示

草稿接受到哪里就在哪里停

调整首次拒绝位置与验证成本,看看有效推进量如何影响收益。

教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。

闯关题

验证结果为 对、对、错、对,连续接受多少?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 3 03 / 纠错与迁移

从会看,走到会写与会判断

图解原理

下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。

读懂这段最小 Python

checks = [True, True, False, True]
accepted = 0
for ok in checks:
    if not ok: break
    accepted += 1
print(accepted)  # 2

先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。

最容易踩的坑

数一串布尔值里 True 的总数当接受长度。连续前缀是 2,True 总数 3 是另一件事。

去官方题目做什么

  1. 到官方 Notebook 阅读题目函数与测试;先写出输入、输出和一个最小例子。
  2. 把本课手算过程转换成实现,先跑最小测试,再检查空输入、边界值或未达门槛的情况。
  3. 记录一个与预期不同的结果,并用本课术语说明原因。

闯关题

同学提出下面的做法,哪一项会导致本课讨论的误判?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

把理解变成自己的代码

准备好,去官方题目试一试

在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。

前往本课官方 Notebook ↗

这节课会遇到的代码对象

MultiTokenDecoderSim · propose · verify · decode

先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。

练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。

完成 3 道闯关题后,本关即算完成;作业 checklist 用来辅助你回 notebook 练习。
进度只保存在当前浏览器 localStorage,分享 HTML 不会带走你的记录。
上一关:L34 下一关:L36