Level 28 | Pipeline Parallelism MicroBatch

Mission 1 概念准备

Pipeline Parallel：把大模型切成流水线阶段

像工厂流水线：第一段处理第 2 个小批次时，第二段已经在处理第 1 个小批次。

t0: S0-M0t1: S0-M1 / S1-M0t2: S0-M2 / S1-M1

micro_batches = torch.chunk(batch, chunks=num_micro_batches, dim=0)
for mb in micro_batches:
    hidden = stage0(mb)
    out = stage1(hidden)

Pipeline Parallel 中 micro-batch 的作用是什么？

改变 vocab size 填满流水线，减少空泡替代反向传播

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

理解 stage 数和 micro-batch 数分别代表什么。用时间表画出前几个 micro-batch 的流动。观察 micro-batch 增多时 bubble ratio 的变化。

Mission 2 TODO

流水线刚启动和收尾时总有人闲着；小批次越多，这段闲着的比例越小。

stages=4micro_batches=8bubble = (4-1)/(8+4-1)

def bubble_ratio(num_stages, num_micro_batches):
    bubble = num_stages - 1
    total = num_micro_batches + num_stages - 1
    return bubble / total

stage 固定时，增加 micro-batch 数通常会让 bubble ratio 怎样？

升高恒为 1 降低

这里不直接写答案。你已经拿到足够输入，最后用 notebook 的 TODO 做举一反三。

按 notebook 要求实现 bubble ratio 公式。测试 stage=1 时 bubble ratio 是否为 0。用不同 micro-batch 数验证趋势。