Level 22 | vLLM PagedAttention

Mission 1 TODO 1 / TODO 2

PagedAttention：逻辑连续，物理可以不连续

先补的知识

KV Cache 会随序列长度增长。
直接连续分配容易产生显存碎片。
PagedAttention 用固定大小 block 管理缓存。

图解原理

像操作系统分页：请求看到的是连续的 token 序列，底层实际由一块块物理页拼起来。

逻辑 token 0-3block 7逻辑 token 4-7block 2

语法热身：向上取整算 block 数

needed = (seq_len + block_size - 1) // block_size
for _ in range(needed):
    block_id = free_blocks.pop(0)
    block_table.append(block_id)

闯关题

seq_len=17，block_size=8，需要多少个 block？

17 3 2

回到 notebook 的作业

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

用向上取整计算 prefill 需要的 block 数。检查 free_blocks 是否足够，不够时抛出 OOM。从 free_blocks 分配 block_id 到 req.block_table。

Mission 2 TODO 3 / TODO 4

Decode 阶段：只有跨入新 block 才分配

先补的知识

自回归 decode 每次只新增 1 个 token。
最后一个 block 没满时可以继续写入。
根据 block_table 才能把物理块拼回逻辑序列。

图解原理

不要每来一个 token 就搬家；只有当前页写满，才申请下一页。

len=8: block 满len=9: 进入新 block此时分配 1 块

语法热身：取模判断边界

req.seq_len += 1
need_new = (req.seq_len % block_size) == 1
if need_new:
    req.block_table.append(free_blocks.pop(0))
blocks = [cache[i] for i in req.block_table]
logical = torch.cat(blocks, dim=0)[:req.seq_len]

闯关题

block_size=4，decode 后 seq_len=9，是否刚进入新 block？

否，因为 9 不是 4 的倍数只和 request_id 有关是，因为 9 % 4 == 1

回到 notebook 的作业

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

decode 时先让 seq_len 加 1。用取模判断是否需要新 block。按 block_table 取块并 cat，最后截断到真实 seq_len。