【城主说】两天前Windsurf被Anthropic背刺了一次， 顿时就要被禁其Claude模型API的挪用，得益的显然就是竞争敌手Cursor。且Cursor之前已经独享了Claude4.0的API挪用，抛开贸易竞争，从使用者角度，Windsurf的用户是很有可能迁徙到Cursor的。
回归到Cursor自身，这两天颁布了正式版1.0。显然这是一个沉大的里程碑，本次访谈是Cursor官方团队深刻探求了将强化进建（RL）利用于代码天生的复杂性与前沿进展。对话涵盖了编码领域强化进建的独个性、嘉奖机造设计的挑战、高级工具与长高低文窗口的作用、新型把稳力架构与智能体影象的实现，以及构建高效RL基础设施和未来发展方向等主题议题。团队一致以为，成功的关键在于结合高质量的真实世界反馈信号、高效的工具利用、更长的高低文理解能力以及可能摊销推算成本的智能体设计。（原文未见成员名字，且用ABCD指代）
? 未来的编码智能体将可能处置更长的输入和输出序列，并能通过代码库专业化来复用知识，实现更高效、更精准的代码天生与批改。
主持人: 对话的初始起点是强化进建(RL)。一个有趣的问题是，对编码进行强化进建与对其他更容易、更可验证的领域进行强化进建有什么分歧？无论是数学，还是像写作或其他更有风险的领域。编码模型的分歧之处是什么？
成员A: 嗯，其中一点是，编码的作为空间要大得多。所以若是我们思考数学，推理在数学方面成效很好，由于最终的答案极度简短。因而，推理有助于提供大量的行动以得出答案。而编码，某种水平上，推理已经蕴含在答案中，对吧？
成员B: 是的，并且为了得到答案，你必须挪用多个工具。因而，它不是像天生推理token、天生答案、获得嘉奖这样，而是看起来像天生一些token、挪用一些工具、从这些工具获得响应，并且你可能会迭代屡次。所以强化进建（RL），强化进建的大局看起来有点分歧，由于此刻你必须经历这种多步骤的工具挪用过程，并在此之上进行优化。
成员C: 对我们来说，强化进建出格有趣，由于在收到模型实现了局后，我们并不总是有法子确定它是否真正解决了用户的问题，或者做了用户想要的事件。你知路，若是你有一个带有尺度答案的数学问题或者一个编码问题，那么你能够测试它是否得到了正确的答案。但我们但愿在用户并不总是通知我们它是否有效的情况下进行强化进建。
成员D: 你以为在写作这样的领域会产生什么？你以为我们底子不会在那里使用强化进建，而只是但愿基础模型通过预训练变得足够好吗？你以为强化进建在那里改进事物存在一条蹊径吗？
成员C: 目前在模型上进行的后训练往往使它们以一种极度生硬和正式的方式写作。但我我不以为那是模型的固有局限。我以为那只是它们被训练成要做的。
成员A: 是啊，为什么不能训练模型来预测下一章节呢？当然能够，你能够扭转进建动态，让它起头预测整个序列，而不是预测下一个token。给定书确当前章节，模型应该尝试预测书的整个下一章节，有点像故事的走向。而后你就能够使用某种类似度怀抱来衡量下一章节与真实章节的类似水平。
成员A: 由于我以为这些模型的局限性之一是，下一token预测指标并没有齐全捉拿到我们真正想要的器材，即天生一个齐全的序列。
成员D: 嗯，那里有两个问题，对吧？有效地来说，就像让它在预测下一个token之前破费更多的推算量。而后还有，它现实上不必要预测确切的下一个词元，而是预测类似于下一章的齐全序列。
成员C: 写作难题之处在于，产出好不好，比起编码，更多的是一个品尝问题。而对于编码，你真的只是但愿它能正常工作。然而对于写作，即便是经验丰硕的人也可能对它是好是坏产生吩扃。
成员A: 是的，但是通过测试有时不起作用，由于通过测试没有捉拿到模型现实上做了什么来通过测试。所以即便忽略掉它起头做一些边缘情况来通过测试的“舞弊”行为，模型也可能起头做一些与工作齐全无关的事件，但依然能通过测试。并且那会给他们带来很好的回报，对吧？
成员C: 对于代码质量，或者说你想要的器材，有点像是优雅的代码，并且长度不超过它所必要的长度。就像也许你想要最短的解决规划，或者说最幼的描述长度，这和数学类似。就像也许最美的证明就是最短的证明。我是说，这不齐全一样，但这里面存在着那个身分。
成员C: 若是你只是想要最短的解决规划。我是说，我以为删除代码是很棒的。若是你你能提交一个精简 100 行代码的 PR，并且能保留所有职能，我会极度欣喜。
主持人: 通常来说，好的嘉奖机造有哪些？我想这个话题涉及到了这些嘉奖。我以为我们在尝试很多分歧的嘉奖方式来训练强化进建模型。你最喜欢哪些设法？
成员B: 它极度靠近真实情况。就像你说的，测试存在一些问题，例如，若是覆盖率不够，你可能会绕过测试，而没有真正解决问题。但是，若是有优良的测试，那么它就极度靠近于代码是否工作的真实信号。
成员B: 但是，你知路，并非所有的事件都能通过测试来捉拿。所以，我们可能必要放宽一些前提，并思虑其他获取嘉奖的方式。因而，一个可能的设法是，例如使用一个特点变动的真实差距。并且，你知路，可能存在多种步骤来实现一样的扭转。所以，它不是一个美满的信号，但是你能够潜在地使用这些信息来援手产生一个验证信号。
成员D: 那么嘉奖和测试的稀少性呢？也许一个弊端是你必须采样大量的轨迹，但只有其中一个通过。你只能得到这种要么1要么0的了局，好比，是否通过了所有测试？
成员B: 是的，我的意思是，这使得训练在推算上变得昂贵，我想。但是，这里有一个很有趣的景象，若是你有足够的推算能力进行大量的推演，你能够通过从每个令牌以一种分支的方式进行推演来获得更稀少的信号，但这会变得极度昂贵。所以根基上，稀少性只是转化成了一个昂贵的推算问题。
成员D: 嗯，有趣的是，若是对一个齐全的PR（Pull Request，拉取要求）进行测试，通�；峒扔行�，但这将极度难题和极度稀少，除非你破费大量的推算资源，对吧？由于很少情况下，例如在一个齐全的PR中，以模型目前的水平，它们可能通过所有的测试吗？但是，也许你想要的是可能将它分化成齐全PR的更幼部门，而后在这些部门中进行测试。这可能仅仅是，若是你有能力这样做，那会是一个严格的改进吗？
成员B: 是的，我以为这很可能是一个改进。所以我想，是的，存在这样一个问题：若是工作极度难题，模型仅在千分之一的情况下能力正确实现，那么这种稀少的嘉奖就会成为一个真正的问题。若是它的成功率是，好比百分之一，或者更高，那么你可能就能够处置它了。但是的，所以一旦你把它做到那种像是千分之一的水平，或许你必要思考像是进一步分化，或者你以为我们正处在那种齐全投入的状态，以至于它可能有点过于稀少？
成员C: 是的，我以为在某些情况下，你可能必要通过将它分化成组成部门，并但愿每个部门都正确来削减稀少性。我的意思是，在某种水平上，我以为你想要的是一种在职能高等同于真实情况或优良变动的变动。这很简洁。问题在于，这不仅是一个难题的指标，并且即便是评估一个候选解决规划是否满足这个指标，也等同于�；侍�。所以，这极度难题。你现实上做不到。但若是你能做一些靠近它的事件，也许那是一个好的方向。
主持人: 最有趣的工具是什么？所以通常来说，你知路，我们已经看到了这种趋向，即分歧的尝试室选择分歧的工具集来评估模型的机能。那么O3，能够说针对终端进行了极度、极度优化的设计。并且，你知路，它偏差于喜欢这种十吩戽怪的模型，它只偏差于抓取和设置，不使用，你知路，它不想使用终端之表的任何工具。而后，云模型在那里偏差于可能设计你自己的搜索和编纂方式。是否有一些萦绕工具的有趣设法，你知路，人们会使用那些不仅仅是传统工具的器材？
成员D: 我的意思是，我以为你能够做得比主题工具集好得多。我以为终端有意思的原因是它极度容易，对吧？就像你不必要构建一些超等花哨的工具。为了运行你的代理，你现实上只是给它一个shell的接见权限。我就能够在那里做所有的事件。单一性可能是最大的原因，对吧？所以一个例子就像是代码查抄工具的谬误。代码查抄工具的谬误会给你大量的信号，但很难获得这些信号，由于你必要运行一个说话服务器能力得到它。而后，现实上为肆意代码运行一个说话服务器是相当难题的。
成员D: 所以你能够获得诸如代码查抄工具之类的器材。我们还有类似语义搜索的器材。并且我不知路，例如，我现实上不以为语义搜索能够仅通过静态代码文件为你找到一些器材。它会为你找到类似于使用足够多的跳数后的grep号令能找到的器材。但它会更快地找到。所以这意味着它更便宜，使用了更少的高低文窗口，并且更快。
主持人: 好，所以也许这就引出了你还想要提高工具质量的概想。我不知路，你们怎么对待选择高质量的工具，以及若何衡量工具的简洁性，好比，你能够选择最单一的描述方式，也就是终端。而后你能够提出这样的问题，好比，你可能想要为模型提供越来越高质量的工具。
成员A: 嗯，一种步骤是，你也能够使用工具来建模模型自身的行为。好比，我们知路好多推理模型喜欢大量推理和过度思虑，即便在它们现实上不必要起头推理的情况下也是如此。所以，你能够缓解这种情况的一种步骤是增长一个思虑工具，让模型意识到工作必要一些推理。而后它就起头挪用该工具来启用这种推理。
成员D: 是的，我一向感触推理模型与自主代理工具挪用之间的互动方式很有意思。也许O3有点分歧，除非我没有过多地使用它。但它总是有点奇怪，它会在你提交用户新闻之后，甚至在它还没有看到任何器材之前就进行思虑，而后去挪用这些工具。
成员D: 不是在使用每个工具之后。我的意思是，我以为，人们训练这些推理模型的理由是什么，以及他们通常是若何训练的？我感触，O1的第一个版本可能只是在角逐，好比竞争性编程，以及数学问题上进行训练。并且，那里的设法是，你但愿最终能得出一个好的答案。要么你能够向用户展示这个答案，要么你能够把它展示给掌管绘造图形和验证答案的器材。在此之前，你想要破费大量的tokens进行思虑。我想知路对于智能体轨迹，你现实上最终要向用户展示或验证的是什么？要么是一些文字，可能是用户能够看到的。但好多时辰，若是你没有问它一个问题，你只是要求它做出扭转。这就像，现实上就是编纂工具，对吧，当它，像，编纂一个文件时。所以我想知路当你只是要求模型，像，编纂代码时，你是否真的必要存在单独推理的这个概想。并且，就像，在训练时，它在那些工具挪用中轻易做什么。你让它轻易做什么，而不是限度，像，某些，像，好的推理部门。
成员C: 另一个，像，极度有趣的工具，我们在思考的是查看PR（Pull Request）以及代码库中的人们一向在做什么。我的意思是，像，你能够对这些模型抱有的一个，像，生理模型是，它们是有能力的工程师，他们就像，总是处于，像，他们入职的第三天，对吧？并且他们获得，像，两天的，像，布景信息来，像，尝试并且，像，尽快地在代码库中进入状态。而后，你知路，第三天，他们被要求做一些事件。并且，你知路，若是你处于那种情况，我以为，你知路，一个合理的做法将是，你花那两天功夫试图理解你的同事一向在做什么，以及，像，为什么他们做出他们在做出的扭转，以及他们在接触什么代码。并且目前，你知路，这些模型并没有真正萦绕着查看PR和查看人们一向在做什么而构建。它们更偏差于以大块的方式消费代码并搜索有关的代码，这与这些模型的预训练方式十吩欹配。并且很显著，这依然是解决规划的沉要组成部门。但是，可能查看PR（Pull Request，拉取要求）的内容对我们来说也很有意思。
主持人: 你以为代码和长高低文之间是若何相互作用的？所以至少在某衷戽怪的水平上，你能够说长高低文极度沉要，由于若是你只思考将所有内容限度在8k（8192）个token（令牌）以内，好比SONET和401以及GPT-4，它们最初的器材在某种水平上是等价的。所以你必要比关键高低文长度更大的器材，好比你至少必要5万到6万个token。你以为只有不休增长高低文长度，就能够改善强化进建（RL）的成效吗？你以为这两者之间是若何相互作用的？
成员C: 我的意思是，趋向一向是高低文变得越来越长。把稳力机造极度善于利用长高低文，但是，你也知路，价值也越来越高。在技术层面，我以为长高低文一个极度有趣的方向是，若何维持成本的降低？若何在多个提醒词中复用缓存的高低文？这与最新的、能力比以往更强的模型尤其有关。但是，若是你没有奇妙地缓存和使用高低文，总成本可能会极度高。并且，当你起头钻研专业的代码库时，对于你想要做的事件来说，存在着大量的有关高低文。我以为这在某种水平上对代码来说可能是特殊的，由于，若是你是ChatGPT，或者你是Plot利用，在大无数情况下，用户带来的高低文并不多。他们有一个问题，通常是100个token。因而，你重要关切的是若何将人类知识的总和压缩成权沉，而后用它来为问题提供一个好的答案。你不太关切若何获取一百万个token，并从中获得能够有效利用的有效信息。由于这并非你的大无数用户所关切的事件。
成员C: 我以为功夫越长越好，但也会有边际效益递减。动态地检索与查问有关的令牌这种步骤不是我们唯一必要的步骤，但它也相当不错。因而，某种混合机造，例如，某种机造能够亏损1亿个令牌，但可能，你知路，从每个令牌中获取的信息更少，对吧？并且利用它来获得对代码库的总体理解。但是，当你确切地知路你想做什么时，它能够记住哪些部门是有关的，并刷新对这些部门的影象，这可能才是持久来看最有意思的。
主持人: 你们若何对待所有涌现出来的新架构？你知路，有一些趋向，它在某种水平上削减了，你知路，存在着正常的滑动窗口把稳力机造。并且，你知路，越来越多地你发现了这些，你知路，Llama4 甚至占有更复杂确把稳力机造。
成员D: 但愿他们能鄙人一个模型中颁布它。但这是他们确把稳力机造，扩大性极度好。他们发现它的阐发优于把稳力机造。其主题工作方式是将把稳力分化成三个部门。其中一部门执行滑动窗口把稳力，因而会关注短期内产生的事件，好比最近的4000个token。另表两个部门有点意思，由于它根基上执行分块把稳力，每隔肯定数量的token，将其存储为键和值。而后查问将关注这些。而后从那之中，你得到你想齐全关注的前K个区块。而后你获取这些区块，而后你现实对它们进行齐全把稳力推算。我以为这非�？�，由于，是的，它应该能很好地实现逾越这个长高低文窗口的检索。
成员C: 我以为它选取了使MOE（混合专家模型）工作的思想，并将其利用于把稳力机造，你知路，我们有这个剧本，用于将稀少性引入通过梯度降落训练的模型中，也就是你得到一些值，对它们进行Top K操作，而后对了局值进行softmax运算。这就是MOE的训练方式。其理想是，即便你没有获得所有事物的梯度，但事实上，它激励门控权沉对于更有关的部门（在MOE专家模型的情况下）相对于特定示例而言更大，这意味着稀少机造依然能够进建将其路由到最相宜的专家。就像国度安全局的案例一样，要针对更相宜的情境部门。我以为，这现实上就像是开发它并将其利用到分歧的领域。
成员C: 我的意思是，评估长程高低文机造的难点在于，要真正相识基准情况，由于你知路，所有步骤在某种水平上都有效。你知路，就像你能够进行稀少把稳力。你能够，好比说，设置一些把稳力头进行部门关注，另一些进行全局关注。
主持人: 好比，增长一个影象工具。所以这种，像是，与强化进建术语的交互，有点像是在其中增长状态，你能够在里面，像是，存储一部吩祺材，并但愿之后可能检索它。但问题在于，若何确切地激励模型现实存储优良的、有效的影象，以便未来使用？你们感触，强化进建会若何发展，能力让你们在很多期限内使用更复杂的有状态工具？
成员D: 感触很有趣，事件在多大水平上朝着这样的方向发展，像是，并非所有器材都在模型中，而不是，像是，模型可能，像是，采取行动来让它做所有事件，对吧？像是，与其，像是，占有一个极度好的长高低文模型，能够进行检索，不如说，好的，此刻的模型，像是，极度善于使用检索这个工具。无论是通过语义搜索进行搜索，还是，像是，它被训练的方式，抓取。
成员A: 像是，影象工具极度有趣，由于现实上有两个工具。像是，第一个工具是我想要存储，像是，这次特定交互的影象。另一个是检索它。某种水平上，像是，教导模型检索影象是相当直接的。你能够单一地在检索到那段影象，并且的确对对话有所援手时，赐与嘉奖。但是贮存这段影象要复杂得多，由于嘉奖并不取决于当前的轨迹，而是取决于分歧的轨迹。这也会增长训练期间的推算量，由于它意味着，根基上，为了从贮存这段影象中获得好的信号，我必须在一堆齐全不有关的随机轨迹中进行屡次发展。
成员B: 是的，齐全正确。就像，一旦你进行了写入，你就是在贮存某种状态，以便在未来的轨迹中使用。所以，当你进行训练时，你既要进行发展来贮存它，又要进行后续的发展来检索它，利用嘉奖，并将其反向传布到写入部门。
成员D: 是的�；蛐碛梅悄Ｐ脱盗返姆绞嚼刺焐图焖饔跋蠡岣菀�。我们前几天就在会商这个。相反，使用像Federico描述的系统，就像是在各类分歧的天生、使用和获取影象的方式之间进行评估。
成员C: 我感触现实上是卢克的。由于费德里科提到的信誉分配问题，现实上很难反向传布到影象存储机造中。所以，取而代之的是，你得到一个基准，好比说，500个例子，关于智能体应该做的事件，以及一种查抄它是否做到的步骤。而后，你只需尝试分歧的规定、启发式步骤和提醒，关于何时存储影象以及何时健忘它。你只需衡量每一种步骤的阐发。而这不及以反向传布到某个器材中，由于它会很快学会对它们进行嘉奖破解。但是，若是你有一个启发式系统，它或许能够援手你找到最佳的那个。
成员D: 是的。我想知路事件会造成什么样子，像是，短期内做的影象才有意思。我想知路这是否会在明年持续存在，还是会造成像雅各布描述的那种更持久的高低文机造，也许它会看到你之前所有的谈天纪录，并可能加强联系。
成员D: 好比，你从之前的谈天纪录中获得的一件事是你在之前的PR中无法获得的，好比，现实操作，以及看到你的环境若何反映，对吧？而后你就能够从中进行更新，而PR则无法做到这一点。PR只是一种演示。是的，我以为它们对分歧的事件都有效。就像，我的意思是，你也在使用你在PR中始终不会真正看到的器材。就像，你在看，好比，终端。你在看，好比，代码查抄器若何响应，以及，好比，你的自动体式化工具可能若何响应，诸如此类。
成员B: 并且看起来你能够从之前的PR中获得一些，好比，类似的个性化设置。好比，若是你的代码库中有一堆PR，你能够大体相识到，好比，什么样的更改，像这种，在代码库中进行某些编纂时，必须做出某些风格上的调整。你能够学会定期进行这些调整。好比，首先我更改这个文件，而后我更改那个文件。
成员A: 是的，我对整个长高低文的故事极度乐观，由于，我的意思是，我有点不想当推算机专家，但新一代GPU的确让长高低文变得极度容易。好比，GB200和L72架构允许以两种方式极度轻松地进行超长高低文处置。一方面，你知路，由于你有这些通过NVLink网格互连的72个GPU，你能够进行超过8GPU网格的张量并行。这让你可能削减每个设备上存储KV确把稳力头数量。除此之表，这种灰色的CPU允许你在统一内存上存储KV，因而允许你每个设备存储更无数量的KV。
成员D: 并且你可能险些不会产生任何减速，由于你能够根基上在加载下一个功夫步，并将其加载到GPU的过程中，交错进行推算。
成员A: 是的，当你达到第0层时，你起头从CPU卸载你在第1层必要的KV。所以它根基上是免费的。你始终不必要KV，齐全的KV，存在于你的GPU内存上，除非你现实达到该层。
成员D: 是的，但我的意思是，这只能扩大到，好比，一百万个高低文？好比，你依然必要支出这种二次方的价值，并且这总是会，好比，你能够超过，好比，仅仅是字面内存的成本。
成员D: 72 它会便宜 72 倍，但这种便宜 72 倍是针对这种大规模的 n 平方级爆炸式增长。因而，或许你必要好比 100 万个联系人，并加上所有这些，好比，人们在增长的所有这些常数因子来使其更好，对吗？好比，时不断地使用滑动窗口，或许能够共享。我的意思是，美国国度安全局 (NSA) 是另一个很好的例子。它是一个很大的常数因子，但它的确是一个常数因子。
成员D: 我们喜欢它。是的，我们称之为鱿鱼把稳力机造，由于我们把它设想成一只鱿鱼，其中每个文档都像一根分歧的触手。是由于这个原因吗？你感触呢，你为什么这么想？我不知路。我齐全不知路。谁想出了“鱿鱼把稳力」剽个名字？卢卡斯。这不太像卢卡斯会起的名字。“鱿鱼把稳力”的设法是，你根基上想要独立地关注每个文档。好比，每个文档城市独立地关注自身。而后在最后，你再关注所有内容。这样做的利益是，你此刻能够轻易代替文档。若是你关切约莫10、20、30个文档，我就能够缓存每个文档的键和值，而无需沉新支付预填充的成本。并且我能够仅仅在推理时代替它们。这对于产品中的各类职能来说，都极度有效，对吧？好比，对于标签页，当你检索信息并但愿急剧实现时，它就极度有效。对于代理，同样，当您使用语义搜索并阅读文件时，这将极度、极度有效。
主持人: 我想我们在起头时就提到了这一点，但对某种测试使用进行大量优化是强化进建最初所选取的一种方式。但是，你们是否有更好的设法，关于若何更多地针对真实世界的使用进行优化，在这种情况下，人类在使用它，而不仅仅是为了优化测试覆盖率？好比，你这话是什么意思？大部门情况下，强化进建都在用来实现大量的测试用例。并且，你知路，大部门情况下，我们关切的不是模型实现测试用例。我们但愿它极度善于，好比，我不知路，在整个文件中增长节造台日志。我们但愿它善于各类更以报答中心的事件，而不是仅仅为了实现一项特定的微幼工作并通过一堆测试。这也许是对SweetBench的一种控诉，我知路Federico并不喜欢它。
成员B: 是的，我的意思是，若是我们要获得这些更像是人类的回报，这些回报可能触及到一些品尝。好比，你想要代码质量，或者，是的，好比，打印出正确的器材�？雌鹄匆竦谜庑�，你必要做的就是从真实环境中的真实人类那里获得一些真实的信号。用户喜欢智能体所做的扭转吗？或者基于某些代理，好比，他们是否接受了这些编纂，或者……
成员D: 是的，我的意思是，我以为有好多事件要做，好比，仅仅是看看用户所做的真实扭转是什么。而后由此，很好地相识，好比，当你沉新推出智能体时，它是否做了类似的事件。由于，好比，用户会进去，并且，若是它是谬误的，他们就会做一些分歧的事件。并且还有好多很酷的事件，当你有一个在后盾运行的器材时，你能够做，对吧？并且你能够，例如，让它尝试三、四次解决这个问题。尝试一堆分歧的模型。尝试一堆分歧的步骤，好比，把温度调高。而后选择，就像，我会浏览Cursor提供的所有选项。而后我会选择那个有效的，对吧？这对于训练嘉奖模型来说是一个极度好的信号。
成员B: 是的，是的。那么，好比说，若是你屡次采样，你能够采取无数投票，或者你能够，好比说，占有一个嘉奖模型来选择最好的一个，这样你就能够在某种水平上缩幼差距。
成员D: 若是我们的确占有嘉奖信号，好比说，有大量的关于嘉奖信号的数据，好比说，有那么多的发展，用户总是从二选一或三选一当选择。是的，我们若何以分歧的方式进行强化进建（RL）？我们是否会仅仅凭据那个信号训练一个嘉奖模型，并只专一于那个信号？
成员D: 好比，另一个益处是若是你的嘉奖模型看到了真实情况，对吧？它有点像比原始模型知路得更多，或者说，比战术知路得更多，对吧？
成员A: 你无法使其鼓和，对吧？由于通常情况下，针对嘉奖模型的强化进建的问题在于，约莫经过200步之后，你就差不多实现了。嘉奖持续上升，但模型现实上并没有改进。
成员B: 是的，嘉奖模型的问题是，你知路，嘉奖会始终上升，但你真正关切的现实嘉奖会终场上升。但若是我们更靠近我们关切的事物，也许人们会在循环中做出真正的决定，那么……
成员D: 不好心理，我只是想说，那么，你以为情况会更糟吗？好比，若是用嘉奖模型来匹敌这种极度清澈的信号，和占有可能看到真实情况的嘉奖模型相比，情况会更糟吗？
成员C: 是的，我们正处于一个有趣的境界，对于很多这些模型来说，我们是模型和现实世界之间的接口，至少在模型被用于编码的水平上是这样。因而，在某种意思上，这应该是CA88工作，就是使模型与人们在现实世界中想要的器材相匹配。
成员B: 是的，我以为存在一种衡量，例如，若是你能够针对现实世界进行无限采样，你能够直接优化它，了局会很好。但是若是你有一些约束，好比，这些样本成本很高，你必要更多地思虑，也许我们必要引入一个拥有真实情况（ground truth）的嘉奖，或者类似的器材。这样我们就能够在没有真实用户的情况下更多地进行离线优化，但是...
成员D: 我们是否定为，通过十吩斓繁地向用户推出，从而现实从代理模型获得真实的嘉奖信号是可能的？有什么理由不这样做呢？Jacob可能有一些见解。所以这个设法...我以为我们应该做这件事。
成员C: 你以为我们应该做这件事。嗯，我以为，在某种水平上，我的说法是，新模型训练实现并起头与现实世界互动之间的循环越短，你的了局就越好。
成员C: 你们都看到了OpenAI在回首性博客文章中关于讨好景象的描述吗？他们将模型起头变得讨好归罪于他们使用点赞和点踩数据进行训练。
成员D: 点赞和点踩，是的，这绝对是一个糟糕的信号，我能够设想。由于它在使散布产生误差，对吧？左袒于会点击点赞和点踩的用户群体。
成员A: 是的，我的意思是，反馈必须与用户维持一致，对吧？好比，你必要从用户愿意提供反馈的处所获取反馈。由于他们受到了激励。不然，那就是一个代理，是的。
成员B: 我们能有的一个现实用处是，好比，我们有模型选择器。若是他们切换掉CA88模型，那可能是一个真实世界的信号，批注他们对我们提供的了局是否中意？
成员D: 我想知路我们是否能够现实使用流失率，作为推导嘉奖的一种方式，对吗？流失率是真实的事实。我们想要，好比，优化，最幼化流失率。而后，好比，我们能否用它来，好比，从短期信号预测嘉奖？
主持人: 这里有一个类似的问题，我感触所有的争论都集中在这种基于了局的事件上。但这种基于了局的事件现实上在R1时期得到了加强。长功夫以来，人们极度热衷于这些过程-嘉奖模型，但是...是的，过程-嘉奖模型怎么了？而后过程-嘉奖模型，你知路的，都隐没了。产生了什么，查理？
成员B: 所以过程-嘉奖模型的问题在于，就像它们被实际的那样，你只是将轨迹传递给一个模型，而后在每个步骤得到一个分数，问题是，模型在仅仅提供分数方面并不那么正确，尤其是在中央步骤。它必须做出预测，好比，对于某些工作，这是否会导致正确的答案？所以产生的情况是，一旦你对这个嘉奖模型，这个验证器模型施加优化压力，你只能优化一幼部门。这和我们在会商的问题类似。但是若是你有这些真实信号，你能够像求解数学题一样，持续不休地进行优化。因而，你能够执行，好比，10...我以为DeepSeek R1执行了10000个强化进建步骤。大无数基于人类反馈的强化进建（RLHF）流程只执行，好比，100个。一旦你能执行10000个强化进建步骤，模型就能起头进建真正有趣的、与起点截然分歧的行为。所以，是的，关键真的在于你能对它施加几多优化。而使用PRM，你能够施加一些，但它受到限度。它远不如使用这些真实了局嘉奖来得多。
成员A: 并且，你执行的步骤越多，情况就越糟，对吧？所以，好比，在一个多步骤场景中，你执行50次工具挪用，就会变得越发难题。这也诠氏缢为什么人们更偏差于使用PPO的变体，好比GRPO或RLU，由于价值模型在你的轨迹上存在某衷炜颈。
成员B: 是的，所以，就像，对于数学和代码这类难题的工作，我以为，你知路，仅仅进展模型产生一个好的价值，这自身就是一个难题的认知工作。它们很难提供真正正确的价值。所以，是的，人们使用GRPO。你就像是，用蛮力进行屡次rollout以获得一个价值。而这更靠近于真实值。
成员D: 我可能错过了前面的部门，但是，对于过程嘉奖模型与真正的了局嘉奖，这很有意思。但是，过程嘉奖模型与了局嘉奖模型相比呢？
成员B: 因而，好比，一个过程嘉奖，现实上，若是进行直接比力，好比一个仅仅在最后产生嘉奖的嘉奖模型，与一个拥有中央步骤，并且你可能在对其进行搜索的嘉奖模型相比，后者拥有优势。但它也存在同样的问题，就像，你知路，但在两种情况下，你都只能优化到某种水平。
成员D: 这是否意味着我们将训练过程嘉奖？好比，这是否意味着，嗯，好吧，我们已经决定了，好比，其中一件事，我们将钻营的嘉奖信号之一是嘉奖模型，我们会在肯定频率后对其进行沉新训练。好比，我们应该训练过程嘉奖吗？
主持人: 所以我想这把我们引向了基础设施的问题。你们好多人都参加了强化进建基础设施的建设。有什么有趣的见解吗？什么是优良的强化进建基础设施？
成员A: 强化进建基础设施有趣的一点是，它天然比训练基础设施更复杂，由于它成立在训练基础设施之上。就像，你用来为 SFT 或预训练执行前向和反向传布的所有工具，你必要它们在强化进建中也能高效运行。另一个有趣的事件是，此刻你还必要推理组件。并且，在这个你不像关注用户那样关注延长的机造中，推理组件也必须进行优化。你关注的是吞吐量。你关注的是尽可能大规模地获得尽可能多的 rollout（轨迹）。对于像 GRPO 这样的算法，情况甚至更有趣，由于你有一个提醒，并且你在为此提醒天生很多、很多、很多补全。而后，最终你将针对该提醒的所有这些补全进行反向传布。对于数学，开源社区的人们并不真正关切这个事实，由于在数学领域，大无数开源社区的人都在为解决这个数学工作而优化。极其微幼的提醒。因而，您能够单一地前后浏览所有序列，而无需不安您一向在沉新推算提醒。但是对于CA88情况，当您占有代理时，我们有这些巨大的提醒。因而，我们不能接受向后遍历所有共享一样提醒的这些回滚。因而，您起头进行优化，即与推理服务器更多地沉叠，例如，您可能已经从数据加载器中获得了提醒，并且在推理服务器已经在处置回滚时，您起头从该提醒中获取 KVs�；毓龇祷睾�，您已经占有 KVs，因而您只需转发已返回的回滚即可。而后，当您进行反向传布时，您已经为您的提醒筹备好了 KVs，因而您能够沉用这些 KVs，并且只对这些 KVs 进行一次反向传布。因而，您能够进行很多以前从未真正实现过的有趣的优化。
成员A: 这也超等有趣，由于人们会针对分歧的情况来天生这些发展序列。好多人选取异步方式，即当你回溯当前发展序列时，模型已经在用旧权沉天生下一批次的发展序列。因而，天生发展序列的模型现实上是落后一步的。但这样能够大大加快训练速度，由于鄙人一次迭代时，你无需期待发展序列实现就能够起头进行前向和反向传布。当你必要同步权沉时，你必须终场所有过程并执行同步，这通常通过RDMA实现，或者你能够直接通过InfiniBand或Rocky等方式从内存中读取。
成员C: DeepSeek为其DeepSeek v3的服务设置所做的一些事件，就是以吞吐量为导向的，即每秒的token数并不高，但分配给解码的每个GPU采样的token总数却极度好。所以我感触...我的意思是，他们用它来服务DeepSeek，这很合理，但若是你在做强化进建，那么进行这些衡量可能就更相宜了。
成员A: 并且还必要PD解耦，对吧？这对于强化进建来说超等沉要，由于你只必要在一个提醒词上进行一次预填充，而后你的所有解码器工作过程就能够启动并援手你。是的。
成员D: 我的意思是，还有另一种有趣的强化进建步骤，你不必要思考……在某些方面，它简化了事件。在某些方面，它使事件变得越发复杂，那就是若是你将你为用户所做的推理，复用为你现实为强化进建所做的推理。我是说，雅各布在为Tad做这方面的工作。
成员C: 是的。只有你不必要提醒词的多个补全，若是你只关切你现实做了什么，而后你只想加强或不加强你所做的，你现实上不必要一个单独的推理组件用于强化进建训练过程。你只需看看真实用户现实产生了什么。这与沉新采样，而后使用嘉奖模型进行比力的情况相比，是一组分歧的衡量，由于它更多地依赖于可能非�＜本绲赝瞥鲂碌恼绞�。但它能够确保您在优化的战术与现实天生轨迹的战术之间的高度匹配。我们在为Tad思考这一点，由于我们单元功夫内能够获得大量数据，由于每当有人使用Cursor展示Tad建议时，我们城市获得反馈。所以这只是一个极度大的反馈量。所以我们有很无数据。因而，我们以为在这种情况下，这可能是有意思的。
成员B: 是的，我以为强化进建存在一个方差问题，根基上，默认情况下，你会得到这些极度高方差的梯度估计。所以若是你有一大批这种经过强化进建的单次发展轨迹，那没问题。若是你没有一大批数据，你必要其他步骤来削减方差。这就是GRPO的用武之地，或者你能够训练价值函数。一旦你将基线化参与到强化进建中，这旨在削减梯度的方差。所以你有一个巨大的批次。理论上，足够大的批次应该能够工作。
成员C: 大批次和短轨迹。你知路，Tad，它的轨�？雌鹄聪窦赴俑鰐oken的上升，诸如此类，而Agent会很愿意推出10000个token后再返回。轨迹的方差极度大，是的。
成员A: 是的，好比Tad，若是它只产生一行，你将不得不进行很多许屡次推出，能力得到针对该提醒的分歧建议，对吧？所以，让它更合用于强化进建的一个技巧是，你起头向它增长更多作为，对吧？好比，像跳跃。
成员C: 是的，是的。跳跃对于Tad来说是额表作为的一个沉要起源，由于若是没有跳跃，它时时不得不终场轨迹。但是若是它能够跳跃，那么它就能够持续前进，并且能够获得关于你是否接受那个跳跃以及在跳跃地址做了什么事件的反馈。
成员B: 是的，所以我想gRPO和PPO之间的高档次区别在于，PPO有一个价值函数。所以这对于那些没有大量GPU内存的人来说有一些优势，由于此刻你不必要存储额表的价值函数权沉。但与此同时，你在进行更多的浮点运算，由于你必须为gRPO进行屡次发展。所以存在一种浮点运算和内存之间的衡量。是的，是的。所以就像你能够训练模型，它不会内存溢出（oom），但训练会破费很长功夫。并且，是的，最终，我感触尤其是在这种数学代码的设置中，价值函数无论若何都不是极度正确的。就像你在做的，这又回到了PRM（概率路线图）的事件，你在模型中进行前向传递，它提供了一些价值。它并不是真的那么正确。所以它对你没有太大的援手。相反，若是你只是进行屡次发展，并取均匀值并将其用作问题的价值，那么这比你将获得的价值更好。它更稀少，但它的确有援手。
成员B: 这是一个好问题。好吧，并且gRPO已经存在很长功夫了。它是随着DeepSeek的数学论文一路颁布的，我记得那或许是一年多以前的事件了。应该是24年，像是24岁首之类的。
成员B: 哦，好的。那就更早了，是的。我想可能是由于随着DeepSeek R1的颁布，强化进建（RL）总体上变得更受欢迎了。随着DeepSeek R1的颁布，gRPO也出现了，所以人们起头关注它。但是即便gRPO在R1之前就存在了，或许在R1颁布一年多之前，我想。
成员B: 或者他们在基于真实数据进行强化进建。我以为在那篇论文中，他们也尝试了针对概率路线图（PRM）进行强化进建。是的，有趣的是，为什么这没有产生我们在R1中所看到的一样了局，当他们在DeepSeek数学时期进行这项钻研时。你以为是什么原因？所以，有一些关于此的有趣工作，好比尝试理解这一点�？雌鹄此坪跤牖∧Ｐ偷哪芰τ泄�，好比预训练数据中的某些器材，或者模型自身已经足够好，基础模型会进行肯定水平的回溯。也许不是很频仍，百分之一的样本或者类似的情况。但这已经足够了，一旦你进行大量的强化进建，它就会捉拿到这些行为并放大它们。所以可能仅仅是由于基础模型已经足够好，以至于它们能够进建这些有趣的行为。
成员A: 问题在于...所以人们已经在像Quan32B这样的模型上复现了类似的了局。问题在于成立基础设施，使你可能训练大型的DeepSeek模型。这就像是一项巨大的提升，对吧？这必要大量的推算�；购奔�，对吧？就像DeepSeek获得了大量的强化进建数据，而我们在开源领域并没有真正占有这些数据。我们或许有一个10万到20万个示例的数据集。
成员B: 是的，我们会商了好多关于输入高低文的内容，但我以为输出高低文将会是一件大事。出格是若是你看看像O3这样的器材。这与某些其他模型极度分歧，那些模型会无休止地进行搜索。它会构建正确的高低文，而后知路若何解决问题。是的，我预计我们会看到一些模型可能执行极度长的工具挪用序列，而后它们...
成员B: 是的，是的。我以为你应该可能摊销其中的一部门成本。我的意思是，是的，根基上就像有一个代理可能查看轨迹，或者查看代码库中之前已经实现的事件，并且从中做出有效的揣度，而后将其存储在某个处所。
成员D: 是啊，若是世界看起来像你那样，那就太糟糕了……要使用那样最好的代理，或者使用一个足够好的代理，你必须使用像O3这样的速度和成本的器材。
成员D: 我以为长高低文或某种代码库专业化将极度沉要。我以为有些器材，你知路，它可能……它有点像可能复用从前所做的工作，可能大体相识这个代码库是若何运作的。
成员A: 你怎么看？关于你能够扩大输出令牌数量的另一个事实是，它使训练越发拥有样本效能，对吧？就像通常在有监督微调（SFT）中，我们有这些大的提醒。并且你知路，模型现实上只从输出令牌那里获得信号。
成员D: 嗯，这也使得它有点低效，对吧？由于若是是一个超长的输出，你必要进行信誉分配，好比，哪些令牌是沉要的？而后像使用GRPO，若是我们以CA88方式进行，你将在每几个令牌处进行采样，好比在这个巨大的序列中。我想它变得数据高效了。它数据高效吗？它是数据高效的，但不是推算高效的。
成员B: 我的意思是，我以为我们正处于，或者说在靠近这样一种状态，尤其是在说话模型训练方面，即最高质量的数据相对于可用的推算资源而言变得越来越稀缺。好比，最好的数据比推算资源稀缺得多。那么，你到底要若何使用所有这些推算资源呢？所以，你知路，那些看起来推算成本极度高昂的步骤可能才是相宜的。是的。
秋霞电影网是的。但现在没有什么能减轻我们心里的痛苦。这并不意味着我们不该为自己感到骄傲。这是一个不可思议的赛季，也是一个非常艰难的赛季。只有俱乐部内部的人才知道，我们一路走来经历了多少困难。在我看来，当你面对世界上最好的球队，而且他们如此难以限制、难以应对时，如果比赛进入点球大战，你当然希望结果会不一样，但最终并没有发生。因为我们都知道这支球队拥有怎样的天赋，也知道我们能够做到什么，以及我们能给对手造成多大的威胁。所以，是的，这让人兴奋，但还有很多工作要做，我们已经迫不及待想开始比赛了。秋霞电影网《砰砰砰是什么感触》更为关键的是，在广州被淘汰之后，一度曝光徐昕下周前往美国的动态。无奈的是，最终徐昕还是前往了国家队进行短训营的训练，这是让人遗憾的一个结果了。从目前的趋势来说，他应该先结束国家队的集训，估计要到下个月才有可能？当然也要看徐昕会不会进入到最终的世预赛大名单。按照目前国家队内线的配置，胡金秋、周琦、杨瀚森和余嘉豪都比徐昕要强，不排除他在月底前往美国的可能性。他补充道：“我想问那些球迷，不管他们是谁，如果他们的球队、俱乐部或国家队因为这种事件输掉重要比赛，他们会高兴吗？他们会高兴吗？
20260604 ? 秋霞电影网下半场易地再战，巴黎继续加强进攻。第54分钟，萨卡在本方禁区前铲球，造成杜埃痛苦倒地，主裁判向萨卡出示一张黄牌，随后阿什拉夫主罚定位球打门被没收。《《图书馆的女伴侣》1-6集终局动漫全》几家中国本土电动车企则实现了更强劲的增幅。小米 5 月交付了超过 30000 辆电动车，同比增长 7.1%。由Stellantis(STLA.US)支持的零跑汽车以及吉利旗下的极氪汽车，各自报告了超过 80% 的销量增长；而蔚来汽车在推出其最新旗舰电动车型后，交付量也实现了 62.3% 的同比增长。
20260604 ? 秋霞电影网现场工作人员介绍，可以将其理解为一个面向智能体的知识库和上下文中枢，将文档、会议、工作日志等本地文件一键汇入，转化为AI原生格式；同时还可以进行知识蒸馏、构建索引，让AI拿到最新、最准确的信息；而且多个终端可以同时挂载智能体，协作团队之间写报告、查进度、同步信息等各种操作瞬时完成，从而让工作效率大大提升。樱桃视频谷歌资本公司有史以来最美丽的商业模式长什么样？首先，想象一下你的供应是免费的。其次，想象一下你的客户自愿相互竞争以抬高你的价格。第三，想象一下你的用户决定哪位客户拥有向你付款的特权。你所要做的就是建造一点点基础设施来让这一切发生，为该基础设施支付微不足道的折旧费，并在商业史上一些最高的利润率中赚取数十亿美元。当然，我描述的是谷歌（Google），这是一家如此优秀的公司，以至于传奇投资者沃伦·巴菲特（Warren Buffett）一直无法说服自己去投资它。巴菲特在 2017 年伯克希尔·哈撒韦（Berkshire Hathaway）年会上解释道：“例如，我们很早就通过 GEICO（政府员工保险公司）成为了他们的客户，我们看到——这些数字已经严重过时了——但我记得，我们当时每次点击支付给他们 10 美元或 11 美元左右。任何时候，只要有人在某个你毫无成本的小东西上点一下，你就能从别人那拿到 10 美元或 11 美元，你知道的，这是一门好生意，除非有人把它从你手里夺走。所以我们当时近距离看清了这种影响力……但是，你知道，你几乎从未见过这样的生意。”像谷歌这样的“聚合者”（Aggregator）的特征之一，就是他们通过牺牲相对价值来最大化绝对价值的方式。对于供应端——即网络上的内容——谷歌极大地增加了访问者数量，尽管来自谷歌的任何一个访问者的价值远低于直接访问的访问者；对于广告商来说，一次点击的价值弥补了数千次毫无效果的广告曝光；对于用户来说，在分发免费带来的压倒性丰富内容中，谷歌帮助他们发现了自己正在寻找的东西。在每一种情况下，聚合者都在牺牲相对质量来增加数量，他们确信从长远来看，绝对质量的总量会更多。有趣的是，从这些公司为何受到投资者估值的角度来看，这恰恰是完全相反的。最好的科技公司都是“轻资产”的，其基础是最大化零边际成本。是的，他们花了很多钱在研发和构建让市场运转的基础设施上，但他们实际上并不参与这些市场；仅仅是抽取分成并保留其中的绝大部分，就足以让华尔街为之兴奋。换句话说，对市场而言，赚到的钱的相对数额（利润率）通常比绝对数额更重要。伯克希尔·哈撒韦与生产性资本在巴菲特收购之前，伯克希尔·哈撒韦是一家失败的纺织企业；巴菲特最初投资是因为其股价低于清算价值，并在与管理层发生纠纷后最终完全买下了它。这是一个令他后悔的决定；摘自该公司 1989 年致股东的信：“如果你以足够低的价格购买股票，企业的命运通常会出现一些起伏，让你有机会以可观的利润套现，尽管该企业的长期表现可能会很糟糕……时间是奇妙企业的朋友，是平庸企业的敌人……我还可以给你举其他‘贪便宜购买’蠢事的个人例子，但我相信你已经明白了：以合理的价格买入一家奇妙的公司，远胜于以奇妙的价格买入一家平庸的公司。查理很早就明白了这个道理；而我学得很慢。但现在，在购买公司或普通股时，我们寻找的是一流的企业以及一流的管理层。”伯克希尔·哈撒韦收购的一流企业之一是 1972 年的喜诗糖果（See's Candies）。巴菲特在 2007 年致股东的信中解释道：“我们以 2500 万美元买下喜诗，当时它的销售额为 3000 万美元，税前利润不足 500 万美元。当时经营该业务所需的资本为 800 万美元。（每年还需要几个月的适度季节性负债。）因此，该公司的投资资本税前回报率为 60%……去年喜诗的销售额为 3.83 亿美元，税前利润为 8200 万美元。现在运行该业务所需的资本为 4000 万美元。这意味着自 1972 年以来，我们只需再投资 3200 万美元，来应对该业务适度的实体增长——以及有些不温不火的财务增长。与此同时，税前总利润已达 13.5 亿美元。除了那 3200 万美元，所有的钱都上交给了伯克希尔（或者早年间交给了蓝筹印花公司）。”喜诗糖果的“问题”在于，拿所有的这些利润根本无处可用；如果是私人持股，所有者手头的现金会多到不知如何是好，如果是上市公司，那么任务就是研究如何通过红利和股票回购的结合，将这些现金返还给股东。然而，伯克希尔·哈撒韦所做的是利用这些现金来实现增长：“在对利润缴纳企业税后，我们用剩下的钱去购买其他有吸引力的企业。就像亚当和夏娃开启了导致六十亿人类的活动一样，喜诗为我们孕育了多个新的现金流。（圣经中‘生养众多’的诫命是我们在伯克希尔认真对待的。）”伯克希尔·哈撒韦利用喜诗的利润投资的企业之一，在资本利用率方面处于完全相反的另一端：BNSF铁路。铁路运营需要大量的资本；BNSF 去年消耗了 38 亿美元；但他们也赚了很多钱：BNSF 在 234 亿美元的收入中实现了 55 亿美元的净利润。客观看待这个数字，伯克希尔·哈撒韦从喜诗糖果赚到的总额可能还不到 30 亿美元（2019 年最后披露的数据是“超过 20 亿美元”），也就是说，喜诗几十年的总利润还不如 BNSF 去年一年的利润。那么，哪一个才是更好的生意？谷歌云的发展空间在 2019 年第四季度——Alphabet 首次披露谷歌云收入的那一年——谷歌服务（Google Services，即我在开头描述的那门高利润率的美丽生意）实现了 432 亿美元的收入和 135 亿美元的营业利润；谷歌云实现了 26 亿美元的收入，亏损 12 亿美元。谷歌云的收入规模是谷歌服务的 6%。在 2023 年第一季度，谷歌云首次实现盈利。当季谷歌服务实现收入 620 亿美元，利润 217 亿美元；谷歌云实现收入 75 亿美元，利润 2 亿美元。谷歌云的收入规模是谷歌服务的 12%，而其利润是谷歌服务的 1%。在 2026 年第一季度，谷歌服务实现收入 896 亿美元，利润 406 亿美元；谷歌云实现收入 200 亿美元，利润 66 亿美元。谷歌云的收入规模达到了谷歌服务的 22%，其利润达到了谷歌服务的 16%。毋庸置疑，谷歌服务是比喜诗糖果更具扩展性的业务。仅在过去七年里的增长——收入增长一倍多，利润增长两倍——就是令人震惊的。然而与此同时，谷歌云的增长速度更快，虽然其利润率较差——上季度为 33%，而谷歌服务为 45%——但它们的扩张速度更迅速。更大的问题是，这些数字能达到多大？谷歌服务的广告业务本质上是高利润率的，但从定义上讲，广告只占整体经济的一小部分；与此同时，谷歌云的增长则是人工智能（AI），许多人认为/担忧/希望AI可能会接管整个经济。换句话说，我们是否有一天会回顾并意识到，谷歌服务提供了现金流，来建立一个利润率相对较低但绝对美元数额更高的业务，就像喜诗帮助资助了 BNSF 一样？伯克希尔·哈撒韦与谷歌股权这一讨论的背景是来自彭博社的这条新闻：“谷歌母公司 Alphabet Inc. 正通过一揽子股权发行募集 800 亿美元，其中包括与伯克希尔·哈撒韦公司（Berkshire Hathaway Inc.）的一笔投资交易，因为该公司正竞相为其雄心勃勃的人工智能支出计划提供资金。根据周一的一份声明，该举措包括一项所谓的 400 亿美元‘市价增发’（ATM）计划，从第三季度开始不时出售股票。该公司还将提供 300 亿美元的承销股票和强制可转换优先股发行，以及与伯克希尔达成的 100 亿美元交易。这些交易共同构成了有史以来最大的股权交易之一——并为这一轰轰烈烈的首次公开募股（IPO）之年带来了意想不到的转折。”首先，将于秋季启动的 ATM 计划中有相当大一部分将用于支付谷歌股权激励的纳税义务（由于股价飙升，这些金额相当庞大）。这就留下了目前正在发行的股权，尤其是面向伯克希尔·哈撒韦的 100 亿美元，这出于许多原因而引人入胜。第一个问题是为什么谷歌发行股权而不是债务？在其他条件相同的情况下，债务是投资的首选工具：后者的收益可以偿还前者，而现有的股权持有者可以获取所有的好处。另一方面，股权消除了债务的风险，但代价是放弃了未来利润的份额。谷歌迄今为止一直用自由现金流资助其庞大的 AI 相关资本支出，虽然该公司确实拥有约 810 亿美元的债务，但这完全被其 1260 亿美元的现金所平衡。换句话说，谷歌发行更多债务的能力——以及这样做带来的财务收益（因为利息是可抵税的）——是巨大的。这引出了或许是奥卡姆剃刀式的解释：谷歌也将开始发行更多的债务，也就是说，每个人都继续低估了对算力的需求。当然，这与一种更看跌的解释相差不远：谷歌对所有这些资本支出的投资回报率感到不确定，并宁愿分担风险（以及收益）。如果未来没有实质性的债务发行，那么这可能是正确的答案。第二个问题是，为什么伯克希尔·哈撒韦在这么多年后突然对谷歌产生兴趣，而且价格仅比其历史最高价略有折扣？这真的只是因为巴菲特不再做出投资决策，而他的 CEO 接班人格雷格·阿贝尔（Greg Abel）在做决策吗？事实上，你可以认为阿贝尔其实只是在重演巴菲特的策略，只不过这一次，伯克希尔·哈撒韦是喜诗糖果，而谷歌是 BNSF。在上季度末，伯克希尔·哈撒韦拥有 3730 亿美元的现金，并在 2025 年获得了 250 亿美元的自由现金流。有多少公司实际上能以产生高回报率的方式利用这笔现金？很难想象有比谷歌更好的选择。该公司不仅在投资 AI，而且在结果方面拥有选择权：其服务业务受益于该投资，它在模型层凭借 Gemini 具有竞争力，并且它可以将算力产能出售给前沿实验室。此外，由于 TPU 的存在，该产能具有可持续的成本优势，这意味着在算力成为一种大宗商品的世界中——尽管现在很难想象——谷歌是准备赚取最多利润的超大规模云厂商（hyperscaler）。值得注意的是，100 亿美元对两家公司来说都是一个相对较小的数额。为此，或许其主要用处是作为一种信号机制。在谷歌方面，该信号表明预期的需求实际上远大于任何人的想象，并且该公司准备并愿意利用一切可支配的手段（包括股权）来为供应提供资金；对他们来说，伯克希尔·哈撒韦的投资是对这一观点的认可，也是对投资明智性的肯定。并且，在反过来看，如果该信号是正确的，那么伯克希尔·哈撒韦就做成了一笔好买卖，并让其现金流机器投入到构建未来中。现金：终极大宗商品几个月前，当 Anthropic 明显处于上升势头时，OpenAI 的支持者试图证明 OpenAI 实际上处于主导地位，因为这个前沿实验室锁定了更多的算力；我在《神话、缪斯与算力的机会成本》（Mythos, Muse, and the Opportunity Cost of Compute）中阐述过，这根本不是决定性的：“OpenAI 押注这种算力限制——以及他们为了克服这一限制而达成的交易——将比 Anthropic 目前在终端用户中的势头更重要……我不太确定这是否会具有决定性。当谈到 AI 时，分发和交易成本仍然是免费的——这是聚合者的两个先决条件——这意味着赢家应该是那些拥有最引人注目产品的人。这些产品将赢得最多的用户，提供寻找算力来服务他们所需的资金；考虑到 Anthropic 达成的锁定很大一部分 TPU 供应的交易，鉴于台积电（TSMC）的产能限制，这最终是从谷歌夺取供应的一个例子。我怀疑 Anthropic 可以拿走更多，包括已经建成的超大规模云厂商和新一代云（neocloud）的产能。是的，那些算力会更昂贵，但如果需求足够高，必要的现金流就会存在。”仅仅几周后，当 SpaceX 提供了 Anthropic 所需的供应时（是的，它很贵），该论点就得到了证实：“这笔交易是真正的基本经济学的一个绝佳范例。首先，如果需求超过供应，那么价格就应该上涨。同时，价格是具有弹性的：如果价格较低，需求就较多；如果价格较高，需求就较少。在这种情况下，虽然对计算的需求广泛存在，但 Anthropic 可以说是需求最大的；此外，Anthropic 的付费意愿也最强，不仅因为他们正在产生可观的收入，还因为他们有能力募集资金来追求在 AI 领域的胜利。”这一分析中隐含的假设是，世界上有足够的算力产能可供购买；然而，如果有一天没有了呢？如果终极之战——决定谁能获得算力的战争——变成了谁能投入最多现金的问题呢？如果这种优势不断叠加，以至于现金能力最强的公司最终拥有最多的算力产能（我们已经知道，除了自己使用之外，他们还会出售这些产能），从而推动产生更多现金的能力，那该怎么办？在那个世界里，哪家公司会是你最好的赌注？我们现在知道伯克希尔·哈撒韦押注的是哪一个了。
京公网安备11010202000001号
