书架满了,应该丢掉最厚的书,还是最久没看的书?
图解原理
KV Cache 调度是在容量受限时决定保留什么。不同驱逐策略衡量不同的“价值”,不能只用一个名字判断好坏。
先认识这三个词
- capacity
- 可保存的缓存容量。
- LRU
- 优先淘汰最长时间未访问的条目。
- stale entry
- 优先级已过期的队列记录,不能按旧值做决策。
先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。
闯关题
本课中的「capacity」指什么?
学完这一段,试着做
用一个小动作确认自己理解了;最后再进入官方题目。