Level 51 | 零基础导学关卡
Online DPO
Online DPO 把新反馈持续纳入更新。反馈会改变采样分布，模型更新又影响未来反馈，因此需要版本、窗口和稳定评测。
本课官方 Notebook ↗Online DPO 把新反馈持续纳入更新。反馈会改变采样分布，模型更新又影响未来反馈，因此需要版本、窗口和稳定评测。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「feedback stream」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
先在固定评测集上记录离线方案的胜率和更新成本。
候选胜率 0.60 对 baseline 0.55，提升 5 个百分点；若更新耗时从 1s 到 4s，也要记录。
多个窗口中偶尔一次高分不能代表持续收益，场景分布变化也可能制造假象。
8 胜、2 负固定，增加无效记录，区分胜率与覆盖率。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
胜率从 55% 到 60%，提升多少个百分点？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
baseline, candidate = .55, .60
print((candidate-baseline)*100) # 5 percentage points先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
把来自不同用户群的两次胜率当作模型提升；或把在线更新等同每来一条反馈就立即训练。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
summarize_online_preferences · compare_online_update · recommend_online_dpo
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。