返回关卡地图
闯关题:0 / 3 XP 0 / 300

Level 81 | 零基础导学关卡

分布式推理逻辑验证

Distributed Inference Logic Validation

分布式推理逻辑验证像模拟分店接单。路由规则、请求大小和通信决定负载;单机模拟能验证规则,不能测出真实多卡网络速度。

本课官方 Notebook ↗
81_Distributed_Inference_Project.ipynb 并行通信分布式推理推理服务
Mission 1 01 / 建立直觉

开两家店,客人真的会平均分过去吗?

图解原理

分布式推理逻辑验证像模拟分店接单。路由规则、请求大小和通信决定负载;单机模拟能验证规则,不能测出真实多卡网络速度。

先认识这三个词

replica
能独立服务请求的模型副本。
routing
把请求分配给实例的策略。
makespan
这批请求全部完成所需的时间。
试着说给朋友听

先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。

闯关题

本课中的「replica」指什么?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 2 02 / 操作与推演

把一个小例子算到最后

图解原理

先用默认数值手算,再只改一个参数。让结果来检验你的猜想。

  1. 相同请求集合

    工作量为 6、2、1、1,分给两个同速实例。

  2. 比较分配

    若负载为 8 与 2,总完成时间为 8;若能做到 6 与 4,完成时间为 6。

  3. 再看可执行性

    负载最均匀的离线方案未必在线可得;实际路由还受到到达时刻、缓存和实例状态约束。

动手实验室 / 只在浏览器中演示

把八份工作分到两个窗口

改变任务分配,观察最忙窗口怎样决定完成时间。

教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。

闯关题

两个同速实例负载 6 与 4,整批完成时间由哪个决定?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 3 03 / 纠错与迁移

从会看,走到会写与会判断

图解原理

下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。

读懂这段最小 Python

for loads in [[8,2], [6,4]]:
    print(max(loads))  # 8, 6 (work units)

先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。

最容易踩的坑

把单机模拟的工作量单位写成真实毫秒,或者用逻辑通过宣布平台部署完成。

去官方题目做什么

  1. 到官方 Notebook 阅读题目函数与测试;先写出输入、输出和一个最小例子。
  2. 把本课手算过程转换成实现,先跑最小测试,再检查空输入、边界值或未达门槛的情况。
  3. 记录一个与预期不同的结果,并用本课术语说明原因。

闯关题

同学提出下面的做法,哪一项会导致本课讨论的误判?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

把理解变成自己的代码

准备好,去官方题目试一试

在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。

前往本课官方 Notebook ↗

这节课会遇到的代码对象

estimate_request_cost · simulate_distributed_inference · recommend_distributed_inference_run

先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。

练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。

完成 3 道闯关题后,本关即算完成;作业 checklist 用来辅助你回 notebook 练习。
进度只保存在当前浏览器 localStorage,分享 HTML 不会带走你的记录。
上一关:L80 下一关:L84