Level 69 | 零基础导学关卡
Prefix Caching Benchmark
前缀缓存 benchmark 把请求分布带回决策。每个请求都不重复时，再精巧的缓存也很难省掉 prefill；高命中还可能伴随管理成本。
本课官方 Notebook ↗前缀缓存 benchmark 把请求分布带回决策。每个请求都不重复时，再精巧的缓存也很难省掉 prefill；高命中还可能伴随管理成本。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「hit tokens」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
10 个 prompt token 命中 6 个，复用比例是 60%，还有 4 个必须计算。
重复相同前缀与全部独特前缀，是不同 workload，不能把两者性能直接归因于实现。
关闭/开启缓存时使用同一请求流，比较 TTFT、命中、容量和维护开销。
移动前缀命中长度和 chunk 大小，观察剩余工作。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
10 个输入 token 命中 6 个，还有多少需要新 prefill？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
prompt_tokens, hit_tokens = 10, 6
print(hit_tokens/prompt_tokens) # 0.6
print(prompt_tokens-hit_tokens) # 4 still need prefill先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
用完全重复的理想请求流跑出高命中率，就推断所有业务都值得部署。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
simulate_prefix_cache · summarize_prefix_cache · compare_prefix_cache_to_baseline · recommend_prefix_cache_run
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。