Selective DPO 挑战了这个直觉。它提出，偏好数据是否有用，不只取决于标签质量，也取决于样本难度是否落在当前模型的能力范围内。

论文的核心主张是：

偏好样本具有稳定的难度差异；过难样本会因为超过模型容量而伤害对齐，而且“过难”的阈值随模型能力变化。