发动机能点火,就能发车去远方了吗?
图解原理
微调 readiness 像出发前检查:知道目的地、有足够油、带了地图,才值得启程。脚本能启动只是其中一项。
先认识这三个词
- 计划
- 明确模型、数据、训练方法和要验证的假设。
- 预算
- 时间与显存上限,需要可检查的数值。
- 评测目标
- 训练结束后凭什么判断这次尝试有效。
先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。
闯关题
本课中的「计划」指什么?
学完这一段,试着做
用一个小动作确认自己理解了;最后再进入官方题目。
Level 33 | 零基础导学关卡
Fine-Tuning Readiness
微调 readiness 像出发前检查:知道目的地、有足够油、带了地图,才值得启程。脚本能启动只是其中一项。
本课官方 Notebook ↗微调 readiness 像出发前检查:知道目的地、有足够油、带了地图,才值得启程。脚本能启动只是其中一项。
先不看公式:用上面的生活场景,说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「计划」指什么?
用一个小动作确认自己理解了;最后再进入官方题目。
先用默认数值手算,再只改一个参数。让结果来检验你的猜想。
先写模型、有效数据量、训练步数、batch、评测集;缺一个就先记为待补,别默默填默认值。
100 步,每步按 2 秒估算,需要 200 秒;只有 150 秒预算时计划不满足约束。
可以缩小试验验证流程,或调整预算。缩小后的 smoke test 不能冒充原计划的完整评测。
改变显存和质量门槛。先过滤,再在合格者中比较速度。
教学简化模型:所有数值来自上方规则,不是 GPU 性能实测。播放可以暂停,键盘方向键可调整滑块。
100 步×2 秒/步,预算 150 秒,计划是否满足时间约束?
用一个小动作确认自己理解了;最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚,帮助你进入官方题目;不是整份作业的答案。
steps, seconds_per_step, budget_s = 100, 2, 150
required_s = steps * seconds_per_step
print(required_s <= budget_s) # False先找输入变量,再找中间量,最后核对注释里的输出。改一个输入,手算后再运行。
把“数据存在”当成“数据可用”,把“能加载”当成“可训练且可评测”。检查应能说清楚缺了哪一项。
同学提出下面的做法,哪一项会导致本课讨论的误判?
用一个小动作确认自己理解了;最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉,再去官方 Notebook 完成实现。先运行你自己的测试,遇到困难时再查看官方提示与参考答案。
summarize_training_plan · check_training_budget · recommend_finetuning_scope
先找题目里的输入、输出与 TODO,再把本课的手算过程对应进去;以官方题目中的函数说明和测试为准。
练习来源:Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本,不读取或分享你的本地 Notebook。