Level 84 | 零基础导学关卡
DPO Preference Project
DPO 使用成对偏好比较 policy 与 reference 的相对倾向。项目评估先检查偏好对，再把 margin、loss 和有效样本比例放在一起看。
本课官方 Notebook ↗DPO 使用成对偏好比较 policy 与 reference 的相对倾向。项目评估先检查偏好对，再把 margin、loss 和有效样本比例放在一起看。
先不看公式：用上面的生活场景，说一说这节课想减少哪种浪费、需要付出什么代价。
本课中的「log probability」指什么？
用一个小动作确认自己理解了；最后再进入官方题目。
先用默认数值手算，再只改一个参数。让结果来检验你的猜想。
chosen=-2，rejected=-4，policy margin=2。
reference margin=1，调整后 margin=1；beta=1 时 sigmoid(1)≈0.731。
-log(0.731)≈0.313。这个数小表示这对样本偏好拟合较好，不等同整体任务质量已经提升。
改变 policy margin，reference margin 固定为 1，观察 DPO 玩具损失。
教学简化模型：所有数值来自上方规则，不是 GPU 性能实测。播放可以暂停，键盘方向键可调整滑块。
policy margin=2，reference margin=1，调整后的 margin 是多少？
用一个小动作确认自己理解了；最后再进入官方题目。
下面是一段独立的小练习。它把计算关系写清楚，帮助你进入官方题目；不是整份作业的答案。
import math
policy_margin, reference_margin, beta = 2, 1, 1
z = beta*(policy_margin-reference_margin)
loss = math.log1p(math.exp(-z))
print(round(loss,3)) # .313先找输入变量，再找中间量，最后核对注释里的输出。改一个输入，手算后再运行。
把负的 log probability 看成“不合法概率”，或只看训练 pair 的 loss 就下交付结论。
同学提出下面的做法，哪一项会导致本课讨论的误判？
用一个小动作确认自己理解了；最后再进入官方题目。
把理解变成自己的代码
在本页用小例子建立直觉，再去官方 Notebook 完成实现。先运行你自己的测试，遇到困难时再查看官方提示与参考答案。
audit_preference_batch · summarize_dpo_candidate · compare_dpo_to_baseline · recommend_dpo_project_decision
先找题目里的输入、输出与 TODO，再把本课的手算过程对应进去；以官方题目中的函数说明和测试为准。
练习来源：Datawhale 官方仓库 · 518cc45。这里的入口直接打开官方版本，不读取或分享你的本地 Notebook。