666 人赞同了该回答
BERT本质上是一个Encoder-only的结构。它采用的是双向注意力的机制，通过遮盖一部分Token，让模型去预测被遮盖的内容。这个任务叫 MLM ，也就是掩码语言模型。
在模型规模还小的时候，这种双向机制确实很强，因为它能同时看到上下文。但是一旦进入 scaling 的阶段，这种结构的劣势就暴露无遗。
最直接的一个技术细节是计算复杂度。BERT这种全双向的注意力机制，在训练时的计算量和显存占用是随着序列长度呈平方增长的。虽然Decoder-only也是平方增长，但两者的信息密度完全不同。这意味着它的学习效率天生就比GPT这种预测下一个Token的任务要低。
如果你想把BERT做到175B参数，你会发现你需要投入比同规模GPT多出好几倍的算力，才能达到同等的语义理解能力。在商业竞争中，这种算力的浪费是致命的。
到了2025年，我们看了太多关于Encoder-Decoder和Decoder-Only对比的论文，尤其是今年10月那几篇关于 Compute-Optimal Frontier 的研究，结论已经非常清晰：在高计算预算下，Decoder-only架构在perplexity和下游任务表现上，就是有着压倒性的统治力。BERT这种双向结构在大参数量下，梯度的回传非常容易导致模型崩溃。我们在一线做实验时发现，Decoder-only这种因果掩码结构，它的损失函数下降非常平稳，逻辑清晰，就是后一个字猜前一个字。而BERT这种全局看的模式，在大参数量下，模型很容易学到一些投机取巧的捷径，导致特征塌陷。
大家要搞清楚一个概念，理解任务和生成任务在Scaling Law面前的表现是不一样的。
BERT的设计初衷是做判别式任务，比如分类、标注、相似度计算。这种任务对参数量的需求其实是有天花板的。你做一个情感分析，用一个3亿参数的BERT和用一个1750亿参数的BERT，效果提升非常有限。这是因为
这也是为什么现在Hugging Face下载榜单上，做Embedding和粗排的模型依然是BERT的徒子徒孙。但在实际落地中，我们发现微调这些庞然大物是一门艺术。如果你想了解工业界是如何在千亿参数模型上进行高效微调的，可以去看下 字节大模型微调实践手册.pd ，里面会有一些真实业务场景下的参数配置，比纯看论文理论推导要更实用一些。
但是生成式任务，也就是GPT走的那条路，它的上限极高。生成任务本质上是在模拟人类的思维链条。当我们要求模型预测下一个字的时候，模型为了把这个字预测准，它被迫去学习逻辑、常识、甚至推理。随着参数量的增加，这种涌现能力会变得越来越强。现在的研究方向，特别是解释性工作（Interpretability）已经证实，Next Token Prediction不仅仅是猜字，它是在逼近世界模拟。
这就是为什么BERT做不大的根本原因：它没有涌现出零样本学习的能力。
你可以把BERT看成是一个精密的显微镜，它观察得很细，但它没法给你写出一篇论文来。而在今天的互联网环境下，我们需要的是通才，是Foundation Model。这个基础模型必须具备极强的通用性，能直接通过指令去做各种事。BERT这种需要针对具体任务进行精调的模式，在追求泛化性的今天已经显得太重了。
我依然推荐大家去读一读OpenAI那篇经典的Scaling Laws for Neural Language Models。虽然是几年前的文章，但它就是这一行的圣经。直到今天，我们看到比如ACL上的新论文在讨论Revisiting Scaling Laws时，依然跳不出这个框架。如果你想系统性地补全这块的知识拼图，不再被碎片化的信息误导，我强烈建议你去下一个论文包， 237篇大模型必读经典论文 ，下载下来。哪怕只是读读摘要，你也能清晰地看到从语音模型基础到RAG的技术演进脉络，明白为什么Decoder-only最终胜出。
那什么样的训练任务才配叫Foundation Models的训练任务？这其实是一个非常有洞察力的问题。现在市面上模型很多，但不是每一个大模型都能叫Foundation Model。
我认为，真正的Foundation Model训练任务，必须满足三个硬指标：自监督性、通用性、以及压缩比。
现在的共识是，Next Token Prediction，也就是预测下一个Token，是目前已知最完美的训练任务。为什么？因为它解决了数据标注的成本问题。互联网上所有的文本，只要是人写出来的，天然就是标注好的数据。这种任务让模型在海量的数据中进行无监督学习，把知识压缩进参数里。
有些同学可能会问，那BERT的遮盖任务不也是自监督吗？没错，但遮盖任务破坏了序列的连贯性。模型在预测被遮盖的词时，它其实是在做补全，而不是在模拟逻辑的流动。而预测下一个词的任务，要求模型必须理解前面的因，才能推导出后面的果。这种因果关系，才是智能的来源。
在实际的工业生产中，我们认为Foundation Model的训练任务还应该包括以下几个维度，这些是2025年的标配：
第一，跨模态的对齐。比如Clip及其变体任务，把图像和文本映射到同一个向量空间。这种任务能让模型具备理解真实世界的能力，而不仅仅是玩文字游戏。
第二，超长文本的处理能力。现在的Foundation Model都在拼长文本上下文，从32k做到128k甚至更长。这背后的训练任务不仅仅是简单的预测，还涉及对长距离依赖的捕捉。
第三，代码和数学逻辑的专项训练。你会发现，现在顶级的模型都会加入大量的代码数据。这不是为了让模型帮我们写代码，而是因为代码本身具有极其严密的逻辑结构。这种训练任务能显著提升模型的推理能力，让模型从一个复读机变成一个能思考的实体。
如果你对这部分感兴趣，我强烈推荐关注一下DeepSpeed的官方博客，还有NVIDIA的Megatron-LM项目。哪怕到了2025年底，这两个依然是训练超大规模Foundation Model的基石工具。DeepSpeed最近更新的Core API优化，还有Megatron对Blackwell架构的支持，里面的技术文档记录了很多在实际训练中如何设计任务、如何分配算力的干货。
去年我们团队曾尝试过改进BERT结构，想通过加入门控机制来提升它的扩展性。我们投入了几百张卡，折腾了三个月。结果发现，虽然在某些垂直行业的分类任务上效果比GPT-4o mini好那么一点点，但一旦换个场景，模型就废了。
这就是典型的没看清趋势。在大模型时代，泛化性就是生命线。
BERT的局限性在于它太想追求完美理解。它在预训练阶段就把上下文全看了，这在某种程度上是一种作弊，导致它在面对从未见过的任务时，缺乏那种从零开始推导的韧性。而GPT那种像剥洋葱一样，一层层往后预测的任务，反而锻炼出了极强的适应力。
所以，现在的共识已经非常明确：Scaling up的最佳路径就是Decoder-only。
但这并不意味着BERT没用了。在很多对延迟要求极高、任务单一的场景下，BERT依然是性价比之王。比如在搜索系统的粗排阶段，或者在一些端侧的文本分类任务中，你弄个几十B的GPT去跑，成本能把你亏死。BERT这种小巧精悍的结构，依然发挥着余热，Hugging Face上那巨大的下载量就是证明。
对于想要深入研究这一领域的同学，我建议不要只盯着论文看，要去跑跑代码。
第一个推荐的是 李沐 老师的动手学深度学习。虽然里面讲的大多是基础，但它能帮你建立起对张量、梯度和模型结构的底层直觉。B站上那171集的PyTorch版合集，到现在依然是很多人的入坑首选，社区活跃度很高。
第二个重点推荐Andrej Karpathy 的项目。大家以前都看nanoGPT，那个确实经典，是理解GPT结构的最好的敲门砖。但到了2025年，Karpathy大神又整了新活，发布了nanochat。这个项目可以说是nanoGPT的完全进化版，它不仅仅是预训练，还完整覆盖了SFT、推理甚至Web UI的整个流程。你看完这个代码，就能明白为什么Decoder-only结构在工程实现上比BERT要简洁得多，也更适合大规模并行。
第三个是关注ArXiv上的最新进展，特别是那些讨论推理优化和KV Cache的文章。现在的瓶颈已经不在于怎么训练大模型，而在于怎么高效地推理大模型。这就涉及到系统设计的底层逻辑，如果你想在工程侧有所建树，必须去啃 《数据密集型应用系统设计》第二版.pdf 。虽然它不是专门讲AI的，但它讲透了大规模分布式系统的本质，在算力即权力的时代，这种系统工程能力决定了你能否驾驭庞大的模型。
互联网行业的本质是效率的竞争。BERT之所以在 Scaling up 的路上掉队，不是因为它不够优秀，而是因为它不符合算力增长的最优路径。在这个算力即权力的时代，简单、直接、能无限叠加的逻辑才是最终的赢家。
不要去纠结某个具体的模型结构是否会永恒存在。技术在迭代，甚至今年我们也看到了像线性Attention、Mamba混合架构这些新尝试，但目前看，Transformer特别是Decoder-only的生态壁垒依然坚不可摧。那种追求通用性、追求在海量数据中压榨出智能的思路，是永远不会变的。
看准方向，保持敏锐。在大模型的浪潮里，理解为什么某种技术会失败，往往比知道它为什么成功更有价值。不要怕走弯路，关键是走完弯路后，你要知道那道墙到底在哪。
还没有人送礼物，鼓励一下作者吧
更多回答
如果你believe压缩即智能，我们可以从diffusion llm的角度看这个问题。
对于数据x，根据信息熵理论，最短编码长度为-log p(x)，next token prediction最小化整个数据集的平均编码长度，就是交叉熵损失。
但是原版的bert怎么导出一个无条件的压缩形式呢？事实上，bert可以转化为mask分布更窄的一种diffusion llm，我们知道这个时候优化的是p(x)的elbo。在优化同样稳定的情况下，通常认为这个时候压缩一定是有损的，那就不如直接优化nll的ntp了。
——————
更新：
同组的
也有理论上说明dllm局限性的文章。 arxiv.org/pdf/2502.0962 。
世界上有些问题是必须需要一定的深度才能完成，例如P-complete问题是被广泛认为本质上不可并行的——这意味着如果一个算法的计算深度少于问题需要的步数，那么这个算法永远解决不了这个问题。对于diffusion llm来说，在采样步数少于block内部的token数的时候，推理同样的token计算深度是不如next token prediction，这也意味着其表达能力不可避免的更弱。
——————
jinjieni.notion.site/Di
之前有一个很火的文章，论述diffusion llm更加scalable，这里其实我有一个concern，文章对比的是同样参数量同样数据，但是diffusion用的算力要显著多，根据原版的scaling law，更公平对比的ntp的Transformer的最优model size也应该更大。同时注意最优学习率此时也可能不同。
这种问题一般都可以在苏神的博客里找到答案：
简单来说，就是双向注意力的低秩问题。当然这个问题的答案并不只有一个，也有一些别的原因，只是我个人最喜欢苏神的这个解释。具体可以看看知乎同名问题下的回答：
另外，也有新工作在研究更好的 BERT，但是仍然不是往 scale up 的方向去做的：