这项由好意思国斯坦福大学、伊利诺伊大学香槟分校、剑桥大学等多所著名高校磋磨团队相助完成的磋磨发表于2025年6月11日的arXiv预印本平台。该磋磨由来自斯坦福大学的罗峰、陈汉杰，伊利诺伊大学的杨瑞、张焕等磋磨东谈主员共同完成。感酷爱的读者不错通过arXiv:2502.13131v2 [cs.AI]探询完整论文，或者在GitHub上找到开源代码：https://github.com/amandaluof/DRMs。

提及东谈主工智能的"品味"问题，你可能从未想过这会是个难题。就像咱们每个东谈主都有私有的喜好——有东谈主心爱甜食，有东谈主偏疼咸味，有东谈主以为幽默比安全更垂危，有东谈主则相悖。当咱们要求东谈主工智能匡助咱们作念有筹画或创作内容时，它也濒临着相似的困扰：到底该按照谁的偏好来行事？

咫尺的东谈主工智能系统，极端是大型语言模子，就像一个只会作念"环球菜"的厨师。它们通过学习普遍东谈主类反映数据来了解东谈主们的偏好，但这种学习方式有个根柢问题——它们只可意会"平均"的偏好，就像把整个东谈主的口味偏好混杂在沿路，最终作念出一谈"中和"的菜品。这谈菜自然不会让大多数东谈主感到厌恶，但也很难让任何东谈主感到简直赋闲。

更费事的是，东谈主类的偏好本人便是多维度的。一个东谈主可能同期但愿AI恢复问题时既要幽默风趣，又要确保安全可靠，还要具备科学严谨性。这就像要求一个东谈主同期演出笑剧演员、安全内行和科学家的变装——每个变装的要求可能相互冲突，需要奥秘的均衡。

传统的东谈主工智能素质门径就像用一个温度计来测量房间里每个旯旮的温度，然后给出一个平均值。但实践上，房间的不同旯旮可能有不同的温度需求——书桌旁需要直爽以保持念念维澄莹，沙发区需要和善以提供答应感。相似地，东谈主类对AI的偏好亦然复杂各样的，无法用单一的"赋闲度分数"来考虑。

为了治理这个问题，磋磨团队设置了一个名为"剖判奖励模子"（Decomposed Reward Models，简称DRMs）的创新门径。这个门径的中枢念念想就像给AI配备了一套"多维偏好分析仪"，简略将复杂的东谈主类偏好剖判成多个孤独的维度，然后笔据不同用户的需求从头组合这些维度。

**一、从"单一口味"到"多维偏好"的创新性滚动**

要意会这项磋磨的冲破性，咱们领先需要明白现存门径的局限性。咫尺的东谈主工智能系统在学习东谈主类偏好时，就像一个只可记取"好"或"不好"的简便大脑。当东谈主们给AI展示两个恢复，告诉它"这个恢复比阿谁好"时，AI就会记取这个判断，并试图在往日生成更多访佛"好"的恢复。

但这种门径有个致命缺点：它假定整个东谈主的"好"都是一样的。就像假定整个东谈主都心爱磨灭种披萨口味一样不现实。实践上，有些东谈主可能以为恢复A比恢复B好是因为A更幽默，而另一些东谈主可能以为A好是因为A更安全。这两种判断基于王人备不同的要领，但传统门径却把它们同等看待。

磋磨团队的创新在于，他们阻塞到东谈主类偏好实践上不错用数学中的"向量"来暗示。若是把传统门径比作用一个数字来暗示一个东谈主的全部特征，那么新门径就像用一个包含身高、体重、年齿、脾气等多个数字的档案来全面形容这个东谈主。

这种向量暗示法的奥秘之处在于，它不错捕捉到偏好的多个维度。一个东谈主的偏好向量可能在"幽默"维度上得分很高，在"严谨"维度上得分中等，在"精真金不怕火"维度上得分较低。这么的暗示方式不仅愈加精准，还允许系统笔据不爱怜况调治各个维度的垂危性。

更令东谈主得意的是，磋磨团队发现这种向量暗示法与一种经典的数学用具——主因素分析（PCA）——有着自然的接洽。PCA就像一个"信息提真金不怕火巨匠"，简略从复杂的数据中找出最垂危的几个"主要因素"。在偏好分析的情境下，这些主要因素就代表了东谈主类偏好的中枢维度。

**二、"偏好考古学"：挖掘荫藏的偏好维度**

磋磨团队的门径就像考古学家挖掘古代斯文的遗址一样，从现存的东谈主类偏好数据中挖掘出荫藏的偏好维度。他们的"考古用具"是数学分析，而"考古现场"是大规模的东谈主类偏好相比数据。

这个经过的第一步是采集"考古材料"。磋磨团队使用了一个包含55万个东谈主类偏好相比的大型数据集。这些数据就像考古现场的文物碎屑，每一个相比都包含了东谈主类偏好的一些信息。当东谈主们说"我更心爱恢复A而不是恢复B"时，这个判断就像一个文物碎屑，蕴含着某种偏好模式的陈迹。

接下来的"发掘"经过很是精彩。磋磨团队领先使用还是素质好的AI模子来分析每个恢复的"特征指纹"——就像给每个恢复拍一张高维的"X光片"，纪录下它在各个方面的特征。然后，他们筹画每对相比中被偏好恢复和被拒却恢复之间的"特征各异"。

这些特征各异就像考古学家发现的文物碎屑，每一派都承载着一些信息，但单独看起来可能莫得太大真义。简直的魔法发生鄙人一步：使用主因素分析来寻找这些"碎屑"中的共同模式。

PCA的责任旨趣就像一个超等注意的典籍治理员，简略从错落的书堆中找出分类法例。它会发现，原本有些特征各异老是沿路出现——比如，当东谈主们偏好一个恢复的幽默性时，他们通常也更敬重其创造性。这么的发现让系统简略识别出"幽默创意"这么一个概括的偏好维度。

通过这种门径，磋磨团队胜仗地从复杂的偏好数据中索求出了多个相互孤独的偏好维度。这些维度就像一套"偏好基因"，每个维度都代表东谈主类偏好的一个基本因素。任何复杂的个东谈主偏好都不错看作是这些基本因素的不同组合。

更令东谈主印象深远的是，这些自动发现的偏好维度与东谈主类直观高度吻合。系统自动识别出的维度包括"有用性"、"安全性"、"幽默感"、"创造性"等，这些都是东谈主们在日常评价AI恢复时照实会计议的因素。这种一致性标明，磋磨团队的门径照实挖掘到了东谈主类偏好的骨子结构。

**三、"偏好调色板"：个性化AI的新用具**

有了这些基础偏好维度，磋磨团队就创造出了一个"偏好调色板"——就像画家用红、黄、蓝等基础热沈调出任何想要的热沈一样，用户不错通过调治不同偏好维度的"浓度"来定制恰当我方需求的AI行为。

这个调色板的使用门径出东谈主意料地简便。当一个新用户想要定制AI的行为时，他们只需要提供极少的偏好样例——比如5到15个"我更心爱这个恢复而不是阿谁"的相比。系统就能自动分析这些样例，判断出用户在各个偏好维度上的倾向，然后调治AI的行为来匹配这些倾向。

这个经过就像一个训戒丰富的调酒师，只需要品味来宾点的几种酒，就能掌持来宾的口味偏好，然后调制出完好恰当来宾喜好的鸡尾酒。系统会分析用户提供的样例，筹画出每个基础偏好维度的权重，然后将这些维度按照筹画出的权重组合起来，变成一个定制化的偏好模子。

实验收尾暴露，这种门径的效果令东谈主惊喜。在多个测试中，使用DRMs定制的AI系统权贵卓绝了传统的单一偏好模子。极端是在处理复杂、多维度的偏好时，新门径的上风愈加显着。

举例，在一个包含"用户友好性"、"叙事质料"、"语言创造性"、"科学严谨性"和"幽默文娱性"五个维度的测试中，传统门径的平均推崇只好71.4%的准确率，而DRMs门径达到了90.0%的准确率，普及幅度达到了18.6个百分点。这种普及在AI领域是很是权贵的。

更垂危的是，DRMs门径展现出了优秀的适当性。迎面对新用户的偏好时，它不需要从头素质通盘模子，只需要用新的权重组合现存的偏好维度即可。这就像一个全能钥匙，不错快速适当不同的"锁"（用户偏好），而传统门径则需要为每个新用户从头制作一把专门的钥匙。

**四、"偏好透视镜"：意会AI有筹画的新窗口**

DRMs门径的另一个垂危孝敬是为意会AI的有筹画经过提供了一个"透视镜"。传统的AI系统就像一个黑盒子，咱们知谈输入什么会得到什么输出，但不知谈中间发生了什么。而DRMs门径让咱们简略看到AI是奈何量度不同偏好维度的。

磋磨团队通过可视化分析发现了一些风趣的模式。举例，当AI处理"聊天"类任务时，它主要依赖前几个偏好维度，这些维度常常与"有用性"和"默契性"相关。但当处理"安全性"相关任务时，AI会更均匀地使用各个偏好维度，标明安全判断需要计议更多方面的因素。

更挑升念念的是，通过分析不同偏好维度之间的相关性，磋磨团队发现了一些东谈主类偏好的深层法例。举例，"叙事武艺"与"幽默文娱性"和"语言创造性"高度相关（连接洽数约为0.87），这恰当咱们的直观——好的故事通常既风趣又有创意。

另一方面，"科学严谨性"与其他几个维度呈现负相关，极端是与"聊天友好性"和"叙事武艺"的连接洽数分袂为-0.46和-0.35。这揭示了一个风趣的气候：严谨的科学抒发通常与毛糙的聊天格调存在自然的张力。

这些发现不仅匡助咱们更好地意会东谈主类偏好的复杂性，也为设计更好的AI评估要领提供了科学依据。磋磨团队指出，好多现存的AI评估基准可能存在维度冗余或维度缺失的问题，而DRMs门径提供的偏好维度分析不错匡助变嫌这些评估要领。

**五、从实验室到现实：时间的实践利用**

为了考证DRMs门径的实践效果，磋磨团队进行了普遍的实验测试。他们使用了两个主要的测试平台：RewardBench和合理偏好逆转（RPR）测试集。这些测试就像给新门径安排的"实战演练"，试验它在各式的确场景下的推崇。

在RewardBench测试中，DRMs门径在整个维度上都推崇出色。极端是在一些具有挑战性的子任务上，比如"纳闷聊天"场景，传统单一偏好模子的准确率只好46.7%，而DRMs门径达到了65.0%，普及了近18个百分点。这种普及在实践利用心仪味着用户体验的权贵改善。

在更密致的RPR测试中，收尾愈加令东谈主印象深远。这个测试专门设计用来评估AI在个性化偏好适当方面的武艺。在"用户友好性"维度上，传统门径的推崇只好50.6%（险些很是于立时测度），而DRMs门径达到了78.9%。在"幽默文娱性"维度上，传统门径69.0%，DRMs门径达到97.5%，险些已毕了完好匹配。

磋磨团队还测试了门径的效劳和可扩张性。令东谈主惊喜的是，DRMs门径不仅效果更好，况且筹画资本更低。传统的素质门径需要在高端GPU上运行1-2小时，而DRMs的中枢机划（PCA分析）在广阔CPU上只需要不到1分钟就能完成。这种效劳上风使得该门径更容易在实践利用中部署。

为了阐述门径的通用性，磋磨团队还测试了使用不同类型的AI模子算作"特征索求器"的效果。他们发现，岂论是专门素质的奖励模子照旧通用的语言模子，都不错胜仗地与DRMs门径团结使用，这大大扩张了该门径的适用范围。

**六、时间细节：简便背后的小巧设计**

自然DRMs门径的中枢念念想相对简便，但当时间已毕却包含了好多小巧的设计。磋磨团队濒临的第一个挑战是奈何将传统的偏勤学习问题颐养为恰当PCA分析的方法。

传统的偏勤学习使用的是Bradley-Terry模子，这个模子就像一个简便的相比器，只可输出"A比B好"或"B比A好"的论断。磋磨团队的创新在于将这个模子从头表述为向量空间中的几何问题。他们发现，当咱们将偏好暗示为高维向量时，偏勤学习的宗旨就变成了寻找一个最好的"标的"，使得在这个方进取投影后，好的恢复老是比差的恢复得分更高。

这种几何化的表述为使用PCA创造了表面基础。PCA的骨子是寻找数据中方差最大的标的，而在偏勤学习的语境下，这些标的刚巧对应于东谈主类偏好的主要维度。磋磨团队通过数学分析阐述，在某些条款下，偏勤学习的最优解照实与PCA找到的主因素标的一致。

另一个时间挑战是奈那处理PCA收尾的"标的不信服性"。PCA找到的主因素向量在数学上是标的无关的——也便是说，向量v和-v在PCA看来是等价的。但在偏勤学习中，标的是有真义的：正标的暗示"更好"，负标的暗示"更差"。磋磨团队通过奥秘的设计治理了这个问题，确保索求出的偏好维度永恒指向"更好"的标的。

在实践已毕中，磋磨团队还计议了好多工程细节。举例，为了真贵某些特征圭表过大影响PCA收尾，他们对输入数据进行了要领化处理。为了提高筹画效劳，他们只使用了前100个主因素，实考阐述这还是填塞捕捉大部分垂危的偏好信息。

**七、恶果考证：数据讲话**

磋磨团队的实验设计号称全面而严谨。他们不仅测试了DRMs门径的基本效果，还深入分析了各个构成部分的孝敬，以及门径在不同条款下的推崇。

在基础效果测试中，DRMs门径在险些整个测试式样上都权贵卓绝了基线门径。磋磨团队相比了四种不同的门径：传统的单一偏好模子、基于分享基础的多头模子、立时开动化的多头模子，以及他们建议的DRMs门径。收尾暴露，DRMs门径不仅在总体性能上跳动，在各个细分维度上也推崇优异。

极端值得防卫的是DRMs门径在个性化适当方面的推崇。在测试中，系统只需要5个用户提供的偏好样例就能有用地适当新用户的需求。跟着样例数目加多到15个，系统的适当效果趋于踏实，这标明该门径简略高效地学惯用户偏好。

磋磨团队还进行了翔实的消融实验，分析了不同因素对系统性能的影响。他们发现，使用的偏好维度数目对系统性能有垂危影响：太少的维度无法充分抒发偏好的复杂性，太多的维度则可能引入噪声。实验标明，使用100个偏好维度是一个较好的均衡点。

另一个风趣的发现是对于偏好维度的垂危性分散。磋磨团队发现，前几个主因素（对应方差最大的偏好维度）通常包含了大部分垂危信息。第一个主因素常常对应于"总体质料"这么的概括维度，尔后头的主因素则对应于更具体的偏好方面，如"幽默性"、"创造性"等。

**八、影响与瞻望：AI个性化的新纪元**

DRMs门径的真义远远超出了时间层面的变嫌。它代表了AI发展的一个垂危转念点——从"一刀切"的要领化处事转向简直的个性化智能处事。

在实践利用层面，这种时间可能带来创新性的变化。设计一下往日的AI助手：大夫使用的AI更注意准确性和专科性，作者使用的AI更强调创造性和抒发力，教师使用的AI则均衡学问准确性和教校友好性。每个AI都能笔据用户的处事、偏好和具体需求进行精准调治，而这种调治不需要从头素质模子，只需要调治偏好维度的权重组合。

从更宽广的视角来看，DRMs门径为治理AI伦理中的一个中枢问题提供了新念念路：如安在多元化的价值不雅中已毕平正。传统的AI素质通常倾向于主流不雅点，可能淡薄或边缘化少数群体的偏好。而DRMs门径通过将偏好剖判为多个孤独维度，为不同群体的价值不雅提供了更好的抒发空间。

磋磨团队也真诚地指出了刻下门径的局限性。由于筹画资源收尾，他们并莫得手工检查整个2048或4096个偏好维度的具体含义。往日的责任需要设置自动化的门径来解释和标注这些维度。此外，该门径咫尺主要基于英语数据，在其他语言和文化布景下的推崇还需要进一步考证。

另一个需要温雅的问题是偏好维度可能不测中捕捉到无益的东谈主类偏见。自然磋磨团队在实验中莫得发现显着的问题，但在大规模部署之前，需要进行更全面的伦理审查和偏见检测。

瞻望往日，磋磨团队建议了几个有远景的磋磨标的。领先是跨模态偏勤学习——将DRMs门径扩张到图像、音频等其他模态。其次是动态偏好适当——设置简略随时候变化自动调治偏好的系统。还有便是偏好的档次化建模——计议到某些偏好维度可能存在档次关系或依赖关系。

说到底，这项磋磨的中枢价值在于它为AI个性化开采了一条新旅途。就像工业创新让大规模分娩成为可能，信息创新让学问赢得变得便利一样，DRMs这么的时间可能预示着AI个性化创新的到来。在这个革掷中，每个东谈主都能领有简直意会我方偏好、恰当我方需求的AI伙伴。

自然，时间的发展老是伴跟着挑战和机遇并存。DRMs门径的胜仗也请示咱们，AI的往日不单是在于更庞大的筹画武艺或更大的模子，更在于更灵巧的设计和更深入的东谈主类意会。只好简直意会了东谈主类偏好的复杂性和各样性，咱们才能构建出简直处事于东谈主类福祉的AI系统。

这项来自多所顶尖大学的相助磋磨为咱们展示了学术界在AI个性化方面的最新进展。自然距离王人备训导的生意利用还有一段路要走，但DRMs门径还是为这个领域指明了标的。对于那些但愿深入了解这项时间的读者，完整的磋磨论文和开源代码都还是公开，为进一步的磋磨和利用提供了坚实的基础。

Q&A

Q1：剖判奖励模子（DRMs）是什么？它能治理什么问题？

A：剖判奖励模子是一种新的AI素质门径，简略将复杂的东谈主类偏好剖判成多个孤独维度（如幽默性、安全性、创造性等），然后笔据不同用户需求从头组合这些维度。它主要治理了传统AI系统只可意会"平均偏好"的问题，让AI简略简直个性化地称心不同用户的各样化需求。

Q2：DRMs门径需要普遍数据才能为新用户定制吗？

A：不需要。这是DRMs的一大上风——它只需要新用户提供5-15个简便的偏好相比样例（比如"我更心爱恢复A而不是恢复B"），系统就能自动分析出用户的偏好模式，并相应调治AI行为。这比传统门径需要的数据量少得多。

Q3：这项时间什么时候能在日常居品中使用？

A：自然磋磨团队还是开源了代码，但DRMs时间咫尺还主要处于磋磨阶段。不外欧洲杯体育，由于其筹画效劳高（中枢处理只需1分钟），时间门槛相对较低，预计在不久的将来可能会被集成到各式AI居品中，如聊天机器东谈主、写稿助手、个东谈主AI参谋人等。