Level 47 | 零基础导学关卡
MoE Expert Parallel
MoE 专家像不同专科窗口：Router 决定 token 去哪里，专家并行再把专家放到不同设备。窗口数量多并不能保证任务分得均匀。
本课官方 Notebook ↗MoE 专家像不同专科窗口：Router 决定 token 去哪里，专家并行再把专家放到不同设备。窗口数量多并不能保证任务分得均匀。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「expert」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
8 个 token 分给两个专家，负载是 6 和 2。
假设两个专家同速，完成时间由较忙的 6 决定；总工作量/设备数=4 是理想均分值。
如果每个 token 都需要跨设备发送，还会增加传输和等待。必须一起记录负载和通信量。
改变任务分配，观察最忙窗口怎样决定完成时间。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
两个同速专家处理 6 与 2 份工作，理想并行完成时间由谁决定？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
loads = [6, 2]
ideal = sum(loads) / len(loads)
efficiency = sum(loads) / (max(loads) * len(loads))
print(ideal, round(efficiency,2)) # 4, 0.67先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
把 expert 数当作有效并行度，或只看平均负载而忽略最忙设备。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
MoEParallelSummary · summarize_expert_parallel · recommend_moe_parallel_plan · compare_dense_vs_moe_cost
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。