Level 79 | 零基础导学关卡
Distributed Parallel Benchmark
把模型切成阶段后，第一批数据要逐段进入，最后一批要逐段退出。更多 microbatch 可以摊薄这段暖机/排空时间，但不能无限忽略调度成本。
本课官方 Notebook ↗把模型切成阶段后，第一批数据要逐段进入，最后一批要逐段退出。更多 microbatch 可以摊薄这段暖机/排空时间，但不能无限忽略调度成本。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「stage」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
仅看前向，3 个等时长阶段，每阶段处理一个 microbatch 需 1 个单位。
4 个 microbatch 的总时间为 m+p−1=4+3−1=6。
有效工作量 3×4=12；可用槽位 3×6=18，利用率 2/3。训练的反向与 1F1B 调度需要另一套账本。
三阶段等时长前向模型，增加 microbatch，观察空泡占比。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
3 个等时前向阶段，4 个 microbatch，总共多少时间单位？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
stages, microbatches = 3, 4
ticks = microbatches+stages-1
utilization = microbatches/ticks
print(ticks, round(utilization,2)) # 6, 0.67先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
把前向玩具流水线公式直接用于任意训练调度，或忽略阶段之间不均衡。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
benchmark_fn · summarize_parallel_result · format_parallel_report · fn
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。