常言道，天下文章一大抄，关键在于抄得高明与否。
最近问世的Opus 5.5和GPT-6 Luna，细细品味，这两款模型身上处处流露出姚顺雨与梁文锋的痕迹。
或许是由于两家企业都将预训练推向了极限，为了进一步增强模型智能并削减算力开销，这两款新模型不约而同地转向了新赛道。
Opus 5.5聚焦于上下文处理，而GPT-6 Luna则专注于缓存机制。
这我可太熟悉了！一个像混元，一个似DeepSeek！
不过，不得不说，阿莫迪和奥特曼模仿得还挺有模有样。
阿莫迪向姚顺雨取经
先来看一组数据。Artificial Analysis的智能指数中，有一项统计是“完成一道题平均需要输出多少token”。
在这个榜单上，Claude Opus 5.5在最大档位下，每题平均输出11.9万个token，其中8.4万个是“思考”内容，3.5万个是最终答案。而OpenAI的GPT-6 Astra，在同一档位下仅用了2.7万个token。
大模型要提升智能水平，传统方法是在预训练阶段堆积数据和算力，将智力嵌入模型权重中，一次训练，反复使用。
这种路线下的模型，推理时几乎不进行额外思考。训练数据价值越高，模型智能就越高。
但传统路线的短板在于，面对陌生题型时容易失灵。传统模型的泛化能力本质上是插值。在训练数据覆盖的分布范围内，表现优异。一旦遭遇未见过的题型或需要多步推理的问题，它便开始胡编乱造。因为其“智力”全部固化在权重中，权重未学习过的模式，推理时也无法补全。
这就像对着木桩苦练拳法，上了战场才发现，对手不仅会移动，还会使用武器。
另一条路线是test-time路线。训练完成的模型只是半成品，真正解答问题时，先让它生成一大段推理，思考越久，答案越优。智力不再仅来源于权重，还来自每次调用时的实时推理。
换句话说，智力被迁移到了上下文中。
Opus 5.5走的就是test-time路线。
官方有一条声明：除非特别说明，所有成绩均运行在“adaptive thinking at max effort”（最大力度自适应思考）模式下。
而且从这一代开始，Opus 5.5不再提供“关闭thinking模式”的选项。这变相表明，推理过程已成为模型不可分割的一部分。
代价是，思考过程会消耗更多token，成本随任务难度上升而激增。Opus 5.5的核心逻辑是，该训练的数据已基本完成，预训练的边际收益达到顶峰，因此智能的增量只能从推理中挖掘。
这种从上下文中获取智能的思路，姚顺雨很早就提出了。
2023年，姚顺雨提出了Tree of Thoughts（思维树）概念，其本质就是一种test-time方法。
推理时展开多条思路，边思考边搜索最优解。
同年，他还提出了ReAct架构，让模型交替进行“推理”和“行动”。
2025年4月，姚顺雨发表了博客《The Second Half》。
文章的核心观点是，AI的上半场比拼的是“训练方法与模型”，例如更大的参数、更多的数据和更强的算力。到了下半场，竞争焦点转向“如何使用与评估模型”，增量正从“训练”向“推理与行动”转移。
他在文中写道，“将推理放入动作空间后，我们才获得了‘针对不同决策灵活分配test-time compute（推理时算力）’的能力。”
姚顺雨将“思考”称为一种“奇怪的动作”。
强化学习中的动作旨在改变环境，比如打开一个箱子，箱子的状态就会改变。动作的意义在于“让世界发生变化，从而获得奖励”。
但思考不会，即使想一万遍，箱子也不会自动打开。
姚顺雨在文章中举了一个例子：有两个盒子，一个装有100万美元，另一个是空的，此时期望收益是50万。
现在加入无数个空盒子，期望收益会越来越低，因为要从无穷多个盒子里选出那个装有100万美元的盒子。
然而，如果加入“推理”这个动作，模型反而会变得更强，更容易选中那个装有100万美元的盒子。
姚顺雨解释说，那些“空盒子”，你在生活及各种游戏里都见过。挑选它们的过程本身，就是在为“选中那个装钱的盒子”做准备。
Opus 5.5，就是将姚顺雨的这一理念工程化实现。
奥特曼向梁文锋取经
如果说Opus 5.5的重点是“如何思考”，那么GPT-6 Luna的重点就是“如何低成本地思考”。
GPT-6 Luna的输入价格为0.1美元/百万token，输出为0.5美元/百万token，相比上一代GPT-5.6 Luna直接减半。
如果缓存命中，读取一次缓存的价格是0.01美元/百万token，比标准输入价格便宜90%。
模型的每一次调用，都需要“读取”你提供的全部上下文。例如系统提示、长文档、历史对话，一个字符都不能少。
但这段上下文的重复度极高。Agent每多走一步，前面那一大段内容都要重读一遍。长上下文因此成为烧钱的无底洞。
GPT-6 Luna采用的缓存复用（prompt caching/KV cache复用），正是为了解决这个问题。同一段上下文，计算一次后便存储起来，下次直接“读取缓存”，无需重新计算。于是，“重复的部分”从最贵变成了最便宜。
但这套做法，DeepSeek早已实施。
2026年8月2日，DeepSeek上线了“Context Caching on Disk”（磁盘上下文缓存），将重复内容缓存到磁盘阵列上，命中时直接取用，跳过重新计算。
当时的公告显示，缓存命中价格降至0.1元/百万token，比未命中便宜正好90%，与GPT-6 Luna相同。
到了V4 Flash版本，命中价格为0.02元，未命中为1元，差距达到50倍。
GPU显存非常昂贵，因此可存储的KV cache容量有限。但硬盘价格低廉且容量大，将KV cache存入硬盘后，成本会大幅降低。
OpenAI现在实施的prompt caching与DeepSeek的原理几乎相同，对同一段前缀计算一次后存储，下次直接读取。
不仅仅是价格，还有架构。
GPT-6 Luna的上下文窗口为105万token，DeepSeek V4为100万token，两者几乎持平。
但是，对于100万上下文的KV cache，按照标准注意力机制计算，一半的模型根本无法承受。
为此，DeepSeek采用了MLA架构，将Key和Value联合压缩进一个低维潜在空间，缓存该潜在向量，使用时再通过上采样还原。
DeepSeek-V2的技术报告中提到，MLA将KV cache削减了93.3%，生成吞吐量提升至5.76倍。到了V4版本，又叠加了压缩稀疏注意力和重度压缩注意力，V4-Pro在百万token上下文下，KV cache仅为上一代V3.2的10%。
此外，OpenAI还“借鉴”了一招：推测解码。
OpenAI在官方博客中表示，他们运行一个更小的草稿（draft）模型，让其与主模型并行地“猜测”接下来的几个token，然后由主模型批量验证。
如果猜对了，一次前向传播就能生成多个token。OpenAI官方表示，这一改进使token生成效率提升了15%以上。
这一思路在2024年的DeepSeek V3中就已出现，DeepSeek使用的是MTP（Multi-Token Prediction，多token预测）。
其做法是在主干模型后面直接连接一个MTP头，训练时与主干一起训练，共享主干的hidden state。推理时，这个头知道主模型内部状态，因此猜测准确、验证通过率高。
这个头可以直接丢弃而不影响主干，也可以保留作为草稿机。
OpenAI相当于外挂了一个独立的小模型来打草稿。两个模型各自运行，草稿不知道主模型的想法，只是猜测后由主模型验证。
虽然方法不同，但两者的思想一致：小模型先猜，大模型批量验证，将串行解码变为并行。
天下文章一大抄
过去，定义模型的是硅谷，国内AI公司因算力有限，因此将这些定义转化为更经济的解决方案。
这一轮，情况反了过来。学术范式和工程范式，都是由中国公司开创的。
美国巨头则负责最后一步，将其做成产品，销往全球。
过去几年，大厂的资源、人才和注意力全部集中在预训练这个主战场上。
大家依据Scaling Law堆数据、堆算力、刷榜单。但头部公司都陷入了前文提到的Anthropic如今的困境：优质数据几乎全部训练完毕，模型预训练边际收益递减。
那么此时，行业的增量自然会出现在第二战场，例如推理时如何思考（test-time compute）、上下文如何利用（context learning）、长上下文如何降低成本（caching/MLA/稀疏注意力）。
这就像武林中，大门派花费几十年修炼一门功夫。练着练着就发现，武功练到一定程度便不再增长，反而是以前那些不起眼的“旁门左道”更能提升功力。
这里还有一个反直觉的地方：主战场上的优势，到了第二战场，反而成了“累赘”。
手握最多算力和数据的一方，恰恰最没有动力去抠成本、抠效率。头部公司形成了“反正我堆卡就能解决问题，何必费劲去想更聪明的办法？”的想法。这就导致节省显存、节省成本这件事，从一开始就不是他们的议题，甚至有些“掉价”。
只有算力紧张的一方，才会把每一分钱都用在刀刃上。
DeepSeek的MLA、磁盘缓存、稀疏注意力，本质上都是“穷则思变”。
当年它们只是“没钱的替代方案”，是无奈之举。可真到全行业开始拼效率的时候，这些“土办法”忽然成了最硬的通货。
于是才会出现国外“偷师”国内的现状。
2022-03-14
2022-03-14
2022-03-14