返回关卡地图
闯关题:0 / 3 XP 0 / 300

Level 37 | 零基础导学关卡

KV Cache 调度

KV Cache Scheduling

KV Cache 调度是在容量受限时决定保留什么。不同驱逐策略衡量不同的“价值”,不能只用一个名字判断好坏。

本课官方 Notebook ↗
37_KV_Cache_Scheduling.ipynb 推理优化KV Cache调度
Mission 1 01 / 建立直觉

书架满了,应该丢掉最厚的书,还是最久没看的书?

图解原理

KV Cache 调度是在容量受限时决定保留什么。不同驱逐策略衡量不同的“价值”,不能只用一个名字判断好坏。

先认识这三个词

capacity
可保存的缓存容量。
LRU
优先淘汰最长时间未访问的条目。
stale entry
优先级已过期的队列记录,不能按旧值做决策。
试着说给朋友听

先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。

闯关题

本课中的「capacity」指什么?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 2 02 / 操作与推演

把一个小例子算到最后

图解原理

先用默认数值手算,再只改一个参数。让结果来检验你的猜想。

  1. 登记访问

    书架容量 2,访问顺序 A、B、A,此时 A 最新,B 最旧。

  2. 新书到来

    访问 C 时要腾位置。LRU 驱逐 B,留下 A、C,而不是因为 A 最先入架就驱逐 A。

  3. 更新队列

    若用堆维护优先级,A 更新后旧条目可能还在堆中,取出时要核对版本或当前状态。

动手实验室 / 只在浏览器中演示

亲手看一次 LRU 淘汰

按下一步播放 A→B→A→C 的访问,改变书架容量。

教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。

闯关题

容量 2,访问 A、B、A、C,LRU 淘汰谁?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 3 03 / 纠错与迁移

从会看,走到会写与会判断

图解原理

下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。

读懂这段最小 Python

from collections import OrderedDict
cache = OrderedDict()
for key in ["A", "B", "A", "C"]:
    cache[key] = True
    cache.move_to_end(key)
    if len(cache) > 2: cache.popitem(last=False)
print(list(cache))  # A, C

先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。

最容易踩的坑

把最近插入当最近访问,或者在条目更新后仍使用旧优先级。Notebook 的评分规则也可能不是纯 LRU。

去官方题目做什么

  1. 到官方 Notebook 阅读题目函数与测试;先写出输入、输出和一个最小例子。
  2. 把本课手算过程转换成实现,先跑最小测试,再检查空输入、边界值或未达门槛的情况。
  3. 记录一个与预期不同的结果,并用本课术语说明原因。

闯关题

同学提出下面的做法,哪一项会导致本课讨论的误判?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

把理解变成自己的代码

准备好,去官方题目试一试

在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。

前往本课官方 Notebook ↗

这节课会遇到的代码对象

CacheEntry · KVCacheSchedulerSim · touch · schedule · snapshot · expect_value_error

先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。

练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。

完成 3 道闯关题后,本关即算完成;作业 checklist 用来辅助你回 notebook 练习。
进度只保存在当前浏览器 localStorage,分享 HTML 不会带走你的记录。
上一关:L36 下一关:L38