Level 17 | Autograd Basics

Mission 1 TODO 1 / TODO 2

Attention 反传第一步：O = P @ V

先从最后的混合结果倒推：输出对 V 的依赖像加权求和，输出对 P 的依赖像每个 value 被选了多少。

dOdV = P^T @ dOdP = dO @ V^T

dV = P.transpose(-2, -1) @ dO
dP = dO @ V.transpose(-2, -1)

O = P @ V 的反传中，dV 应该使用哪个公式？

V @ dO dO @ P P.transpose(-2,-1) @ dO

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

从 ctx.saved_tensors 取出 P 和 V。写出 dV 和 dP 的矩阵乘法。检查 dV shape 与 V 一致。

Mission 2 TODO 3 / TODO 4

梯度先穿过概率归一化层，再穿过打分矩阵；打分来自 Q 和 K 的相似度。

dPsoftmax backwarddSdQ, dK

dS = P * (dP - (dP * P).sum(dim=-1, keepdim=True))
dQ = (dS @ K) * scale
dK = (dS.transpose(-2, -1) @ Q) * scale

softmax 反传里为什么要用 keepdim=True 求和？

保持可广播维度删除 batch 维让梯度停止传播

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

用 P * (dP - sum(dP*P)) 写 dS。用 dS @ K 写 dQ。用 dS^T @ Q 写 dK，并乘以 scale。