返回关卡地图
闯关题:0 / 3 XP 0 / 300

Level 70 | 零基础导学关卡

推理服务调度基准

Serving Scheduler Benchmark

调度器 benchmark 既看吞吐,也看排队与尾延迟。平均等待可以掩盖少数特别慢的请求,服务目标必须一起检查。

本课官方 Notebook ↗
70_Serving_Scheduler_Benchmark.ipynb 推理优化推理服务调度基准对比
Mission 1 01 / 建立直觉

餐厅接单更多了,但最慢顾客等到生气,算成功吗?

图解原理

调度器 benchmark 既看吞吐,也看排队与尾延迟。平均等待可以掩盖少数特别慢的请求,服务目标必须一起检查。

先认识这三个词

arrival
请求到达时刻。
tail latency
高分位时延,用于观察较慢的一部分请求。
SLO
明确的服务目标,例如延迟上限。
试着说给朋友听

先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。

闯关题

本课中的「arrival」指什么?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 2 02 / 操作与推演

把一个小例子算到最后

图解原理

先用默认数值手算,再只改一个参数。让结果来检验你的猜想。

  1. 建请求流

    先固定到达时间、输入输出长度和并发条件,保存每个请求的完成记录。

  2. 看平均与最慢

    等待为 1、1、1、17,平均只有 5,但仍有人等了 17。小样本的“最慢”也不应随意称为 P99。

  3. 做约束选择

    候选吞吐上升但超出规定尾延迟门槛,应调参或拒绝,不能只报好看的指标。

动手实验室 / 只在浏览器中演示

重新排一次队,等待会怎样变?

三个任务同时到达,比较 FIFO 与短任务优先。

教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。

闯关题

等待 1、1、1、17,平均值与最大值分别是多少?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

Mission 3 03 / 纠错与迁移

从会看,走到会写与会判断

图解原理

下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。

读懂这段最小 Python

waits = [1, 1, 1, 17]
print(sum(waits)/len(waits), max(waits))  # 5, 17

先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。

最容易踩的坑

把平均延迟通过说成所有请求都通过,或在不同到达流下比较调度算法。

去官方题目做什么

  1. 到官方 Notebook 阅读题目函数与测试;先写出输入、输出和一个最小例子。
  2. 把本课手算过程转换成实现,先跑最小测试,再检查空输入、边界值或未达门槛的情况。
  3. 记录一个与预期不同的结果,并用本课术语说明原因。

闯关题

同学提出下面的做法,哪一项会导致本课讨论的误判?

学完这一段,试着做

用一个小动作确认自己理解了;最后再进入官方题目。

把理解变成自己的代码

准备好,去官方题目试一试

在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。

前往本课官方 Notebook ↗

这节课会遇到的代码对象

simulate_serving_scheduler · summarize_serving_scheduler_runs · compare_scheduler_to_baseline · recommend_serving_scheduler_run

先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。

练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。

完成 3 道闯关题后,本关即算完成;作业 checklist 用来辅助你回 notebook 练习。
进度只保存在当前浏览器 localStorage,分享 HTML 不会带走你的记录。
上一关:L69 下一关:L71