近年来，随着大模型从单一问答，走向深度钻延注医疗征询、多模态天生和长程 Agent 工作，一个基础问题变得越来越难回覆：我们到底应该怎么判断模型输出的质量 ？
以 Deep Research 汇报评估为例，传统步骤可能只是对比天生汇报和参考汇报的文本差距，或者让大模型给一个总体分数。但一篇好汇报并不愿定要和参考汇报写得一样，也很难用一个抽象分数概括。它必要同时满足多个要求，例如是否回覆了用户问题、覆盖了关键信息、引用了靠得住证据、论证是否清澈、结论是否有效等等。
Rubrics 的作用，就是把这些吞吐的「好汇报」尺度拆解成明确的评价项，让评审者或 judge model 逐项查抄和打分。这样不仅能判断汇报总体好不好，还能指出具体问题，并进一步把这些细粒度反馈转化为训练信号，援手模型针对覆盖不及、证据不充分或逻辑不清等问题进行优化。
这意味着，大模型的训练与评测在从单一正确性信号，转向多维度、可诠释的质量尺度。Rubrics，在成为衔接人类进展、工作要求和模型行为的沉要接口。
近日，来自中国人民大学高瓴人为智能学院的钻研团队颁布综述论文《The Rules of the Game: A Survey of Rubrics for Large Language Models》。论文共 40 页，系统梳理了 Rubrics 在大模型中的界说、机关步骤、训练利用、评测场景与盛开挑战。论文同时守护了持续更新的 GitHub 项目，方便社区跟踪这一急剧发展的方向。
早期大模型的工作往往拥有相对清澈的输入输出大局，并且答案的正确性是容易评估的。例如问答工作能够比力尺度答案，代码工作能够运行测试用例，数学工作能够验证最终了局。对于这些工作，正确率、执行成功率或规定化嘉奖可能提供较直接的训练和评测信号。
但随着模型能力扩大，工作难度也产生了显著变动。大模型在被要求实现更盛开、更高风险、更复杂的工作。例如：自动搜索资料并天生钻研汇报；在医疗、司法、金融等专业领域给出分析；挪用表部工具实现多步工作；在多模态场景中天生或理解复杂内容。此时，输出质量通常不再由一个答案决定，而是由多个维度共同决定。
Rubrics 的价值在这里显露出来。它将「好答案」拆解为一组明确的评价项，例如事实正确性、覆盖度、证据支持、推理严谨性、安全性、体式合规性和现实可用性。评测者能够逐项打分，也能够将这些分数聚合为最终了局。与一个黑箱分数相比，Rubrics 提供的是可查抄、可调整、可诊断的质量尺度。
在教育评估中，rubric 通常指一套评分指南：它注明评估者应该看哪些方面，以及分歧质量水平别离意味着什么。放到 LLM 中，Rubrics 能够理解为一组天然说话大局的评价尺度，每个尺度对应一个具体、可评估的质量维度。
这篇综述给出了统一大局化：一个 rubric set 能够由若干 rubric item 组成，每个 item 蕴含天然说话描述（具体的 rubrics 示例能够拜见图 1 下半部门）和沉要性权沉；对于输入工作和模型输出， judge model 逐项给出分数，再通过均匀、加权求和或隐式聚合得到整体评价。
更沉要的是，论文对 Rubrics 与几个容易混合的概想进行了分辨和会商。LLM-as-a-Judge 解决的是「谁来评」，Rubrics 解决的是「按什么尺度评」；reward model 通常直接输出一个标量分数，而 Rubrics 将评价尺度显式列出；RLVR 依赖自动可验证的答案，而 Rubrics 更适合那些必要多维度判断、难以齐全验证的盛开式工作。
Rubrics 是否有效，首先取决于它们自身是否足够好。一个过于宽泛的尺度，例如 “回覆该当有援手”，很难提供不变的训练和评测信号；一个过于细碎或沉复的尺度，又可能带来冗余评分和噪声。
第二类是对比天生。相比只看一个答案，对比天生会输入偏好对，例如一个高质量回覆和一个低质量回覆，让模型总结二者差距，从而提取更有判断力的尺度。
第三类是迭代优化。钻研者起头不再把 Rubrics 机关当成一次天生工作，而是引入迭代地验证、分化、过滤等流程。例如检测某个尺度是否能不变区吩飓好对，递归拆分过粗的尺度，最终得到更原子、更紧凑的 rubric set。
第四类是在线与共同演化。对于强化进建和 Agent 工作来说，静态 Rubrics 可能很快过期。因而，部门工作尝试让 Rubrics 随着 policy rollouts 更新，将新出现的谬误行为纳入评价尺度，使 Rubrics 与模型训练过程共同演化。
在模型训练中，Rubrics 的主题作用是把复杂质量要求转化为可优化的监督信号。相比一个整体偏好标签，Rubrics 能通知模型「哪里做得好、哪里必要改」，因而出格适合盛开式工作和多步 Agent 工作。
尺度的基于 rubrics 做 policy RL 的方式是：给定输入和模型天生的回覆，judge model 按 Rubrics 逐项打分，再将分数聚合为一个嘉奖，用于 PPO、GRPO 等强化进建算法。这个过程能够作用在最终答案上，也能够作用在齐全轨迹上。对于工具挪用 Agent、深度钻研 Agent 或多模态推理模型，轨迹级 Rubrics 尤其沉要，由于好多谬误并不会直接体此刻最终答案中。示例图如下：
不外，将多维 Rubrics 单一加权为一个标量嘉奖是比力粗粒度且不矫捷的，由于分歧尺度之间可能存在依赖、矛盾或硬约束关系。例如医疗问答中的安全性不应只是一个通常加分项，而可能是 veto 前提（一旦违反则 reward 为 0）�；诖�，很多工作进一步提出设计更先进更鲁棒的 rubric reward：蕴含可进建的 Rubric 权沉、引入 veto 或 saturation 机造、结合环境反馈、按难度进行 curriculum 训练，以及在 RL 算法内部结合 rubrics 设计优势估计。
还有一类工作将 Rubrics 从「过后打分工具」推动为「天生过程中的领导」。模型能够先天生或读取 Rubrics，再据此规划回覆；也能够把未满足的 Rubric 转化为反馈，领导下一轮改写。这意味着 Rubrics 不仅能通知模型一个输出得几多分，还能援手模型索求更高质量的输出空间。
Rubrics 也被越来越多地用于 reward model training。传统 reward model 往往只输出一个标量分数，难以诠释为什么某个回覆更好。引入 Rubrics 后，reward model 能够被训练为先凭据尺度进行分析，再给出偏好判断；也能够输出多个维度的分数，并通过显式聚合得到最终 reward。凭据综述的整顿，Rubrics 在 reward model training 中重要阐扬三类作用。
传统 reward model 通常直接输出一个标量分数，评价尺度隐含在模型参数中，钻研者很难判断模型到底凭据什么做出偏好判断。引入 Rubrics 后，嘉奖模型能够被训练为先萦绕给定尺度进行逐项分析，再输出最终偏好判断；也能够对分歧 rubric 维度别离打分，再通过显式聚合得到最终 reward。这样一来，嘉奖模型不再只是一个黑箱打吩祺，而是可能展示「为什么这个回覆更好」「哪些维杜装响了最终分数」。
除了最终偏好是否正确之表，Rubrics 还能够作为结构化参考单元，用来约束嘉奖模型的中央分析过程。例如，一些工作会将人为标注或老师模型天生的理由拆解为 rubric-level 的参考信号，并在训练中激励 reward model 的分析过程与这些尺度维持一致；也有步骤要求模型先天生 Rubrics，再进行分析和判断，并通过额表的 proxy model 评估天生 Rubrics 的质量，从而把 Rubrics 自身也纳入优化指标。
传统偏好数据中往往蕴含长度、体式、语气等浅层线索，reward model 可能学会这些表表特点，而不是进建真正决定回覆质量的成分。Rubrics 能够援手鉴别影响回覆质量的主题维度，并据此机关更有针对性的训练样本，使嘉奖模型更关注事实性、齐全性、安全性、推理质量等内容尺度，而不是依赖「回覆更长」「体式更整齐」这种。
除了训练，Rubrics 另一个常见的用处是模型评测。对于盛开式工作，Rubrics 相当于一份显式的评价尺度：它界说了必要查抄的维度，若何给分等等。本文依照通用工作和领域特定的工作对已有的基于 rubrics 评估的 benchmark 进行了分类：
在通用工作中，Rubrics 已被用于推理能力、深度钻延注盛开式天生、通用 Agent 能力和对齐评测。例如在数学推理工作中，评测不再只看最终答案，还会查抄中央步骤的正确性；深度钻研工作的评测会同时关注信息覆盖、证据支持等维度；Agent 工作有关的评测则进一步关注工具选择、参数挪用、和多轮执行靠得住性等方面。
在专业领域中，Rubrics 的价值更显著。例如，在医疗问答领域，人们必要专家造订尺度来查抄模型回覆中的医学正确性、安全风险和沟通质量等等；在司法和金融工作中，我们必要评估事实合用、过程可审计、风险披露和实务可操作性；在这部门，综述依照评估的对象（中央轨迹和最终答案）和尺度（事实性、安全性、专业表白和现实可用性）对已有的工作进行了具体的分类和会商。
首先是 reward hacking。模型在训练过程中可能学会 hack rubrics 的表表特点，而不是真正提升工作质量。若何设计更稳重的 Rubrics、并让设计 Rubrics 随训练过程的更新机造，是未来沉要方向。
其次是 rubric-based reward model 的泛化。好多 Rubrics 来自特定工作或领域，reward model 可能过拟合这些尺度而迷失泛化性。未来必要钻研若何让嘉奖模型在新工作、新领域下依然有效地基于 Rubrics 进行 reward 推算，尤其是在医疗、司法、金融和科学推理等高门槛领域。
第三是评测误差。Rubrics 能够提高评测的可诠释性，但并不能自动解除 bias。Rubric 的写法，judge model 的拔取等等城市对最终的评测产生 bias。若何设计更鲁棒更不变的 Rubric-based evaluation 是一个必要解决的问题。
此表，个性化 Rubrics 和 Rubric 安全也在成为新问题。个性化 Rubrics 能够更好地刻画用户偏好，但也可能过杜篆合浅层偏好，甚至与安全尺度矛盾。与此同时，Rubrics 自身也可能成为攻击面：恶意或荫蔽的尺度改写可能偷偷扭转 judge 的偏好方向，并进一步影响训练数据和模型行为。
这篇综述的主题意思，不只是列举了 Rubrics 有关工作，而是把一个在急剧扩张的钻研方向放进了统一框架中：Rubrics 是大模型训练与评测中的显式质量接口。它界说尺度，组织反馈，衔接人类偏好、工作约束与模型优化。
随着大模型持续走向盛开式、高风险和 Agentic 利用，系统必要的不只是更强的天生能力，还必要更明显的质量界说。Rubrics 的价值在于此：它让「好答案」不再只是一个吞吐直觉，而成为一组能够会商、查抄、批改和优化的明确尺度。
《丈夫邀部长来家吃饭》韩剧免费观问题在于不是每一家供应商都会仔细审核客户身份，也不是每一家供应商都会检查订单里的基因片段有没有危险。虽然有的供应商只卖给合格的研究机构，但也有人根本不管买家是谁以及要买什么。这时那些心怀不轨的人，完全可以混进去下单。人民财讯6月5日电，【摘要】商务部：美滥用出口管制冲击全球半导体产供链稳定。外交部：希望欧方客观理性看待中欧经贸关系。工信部：组织开展6G创新发展部省协同试点专项行动。上交所向券商下发通知，强化交易业务单元管理。小红书启动金融专业号治理专项行动，处置非法诱导跨境投资等违规内容。深圳：要在新型基础设施规划建设上谋项目强投资，加快算力网、新一代通信网等建设。富途宣布6月12日起对中国境内服务调整，三家跨境券商均已落地集中整治细则。特朗普称若达成协议，不排除与伊朗最高领袖会晤。《丈夫邀部长来家吃饭》韩剧免费观《《我伴侣中字ID》韩剧》罗马诺补充称，他不会对克洛普未来成为德国国家队主帅的有力且具体候选人感到意外，但前提是纳格尔斯曼离任。这个前提非常重要，因为一切取决于德国队在世界杯的表现以及许多其他因素。如果纳格尔斯曼在世界杯结束后离开德国国家队帅位，克洛普肯定可能成为强有力的候选人。德国足协身边人士预计，如果纳格尔斯曼离任，足协最终可能会尝试邀请克洛普。当然，目前德国足协与纳格尔斯曼站在一起，他们希望赢得世界杯，也信任纳格尔斯曼。但如果情况发生变化，克洛普会是一个可能选项。瑞航发维一期厂房于2025年4月正式投用，同年8月完成首台CFM56-7B发动机的交付。张建立回忆，经过多轮严格测试，首台发动机各项性能指标均满足适航标准，截至当年8月底累计安全运行超过1000小时，获得交付方祥鹏航空的高度评价。截至目前，一期厂房已交付18台发动机，年维修能力最高可达60台。
20260607 ? 《丈夫邀部长来家吃饭》韩剧免费观谢谢。我觉得是积极和坚韧的心态。我以前也说过，在足球这项运动里，你必须拥有强大的心理素质。我很幸运自己一直保持着这种状态。我的成长道路并不轻松，但每个人都有自己的故事，而我的经历，我不会拿任何东西去交换。我知道自己必须努力，而我也一直愿意付出努力。胶囊旅店这种给予詹姆斯掌控自身命运灵活性、通过限制长期锁定而选择带有球员选项的两年期合同，正是他过去曾多次接受过的签约模式。
20260607 ? 《丈夫邀部长来家吃饭》韩剧免费观横向对比可见，雁栖小镇虽在商业配套（6.49分）、教育（6.05分）等维度未居榜首，但其交通与车位两大刚性指标的绝对领先，构成了不可替代的底层竞争力。相较之下，北科建·水岸雁栖（8.76分）虽同享S5线红利，但公交接驳效率偏低；北京城建·府前龙樾（8.76分）虽临近高速入口，却受限于路网密度与慢行系统缺失；而北京建工·璟玥林汐（4.56分）则因距S5线怀柔站直线距离超7公里、无高频接驳，被明确归入交通短板梯队。雁栖小镇的9.75分，本质是区域交通基建兑现力、开发商前置规划能力与高知客群真实需求三者精准咬合的结果。《《我的不良义姐》动漫版百度云》尽管与伯纳乌球场有着历史渊源，莫伦特斯明确排除了短期内积极参与任何选举项目的可能。他强调自己目前处于职业和个人生活的美好时刻："我很平静，现在对自己所做的事情感到很开心，我非常期待周日会发生什么。会员们必须做出决定。"
京公网安备11010202000001号
