Level 49 | 零基础导学关卡
Parallelism Strategy Selection
并行策略切分的对象不同：DP 分数据，TP 分单层计算，PP 分层，ZeRO 分训练状态。先说明放不下什么、慢在哪里，再选工具。
本课官方 Notebook ↗并行策略切分的对象不同：DP 分数据，TP 分单层计算，PP 分层，ZeRO 分训练状态。先说明放不下什么、慢在哪里，再选工具。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「DP」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
如果单个矩阵就放不进一张卡，仅把不同数据发到多个完整副本没有帮助。
可以研究 TP 切矩阵；若主要是 optimizer state 大，可研究 ZeRO 的状态分片。
切分会引入通信。相同切法在高速互联与慢速网络上的结果可能不同。
改变任务分配，观察最忙窗口怎样决定完成时间。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
单个层的矩阵放不进单卡，哪种方法直接切这个层？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
problem = "single_layer_too_large"
next_candidate = {"single_layer_too_large":"tensor_parallel",
"optimizer_state_too_large":"state_sharding"}
print(next_candidate[problem])先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
把 DP、TP、PP 的缩写当作速度排名。它们是切分策略，收益依赖瓶颈、硬件和 workload。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
summarize_parallel_bottlenecks · rank_parallel_candidates · recommend_parallel_followup
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。