新智元报道
编辑：Aeneas 好困
【新智元导读】「一位顶尖科学家，有数千亿美元的资源，却仍然能把Meta搞砸了！」最近，圈内对LeCun的埋怨和批评，似乎越来越压不住了。有人批评说，Meta之所以溃败，LeCun的教条主义就是罪魁祸首。但LeCun却表示，自己尝试了20年自回归预测，彻底失败了，所以如今才给LLM判死刑！
凭借着GPT/o系列、Gemini 2.5、Claude的强大能力，OpenAI、谷歌、Anthropic纷纷在AI大战中各领风骚。
唯独Meta，没有走在前沿。
Llama 4自发布以来种种拉跨的表现，让Meta在某种程度上沦为了业内的「笑柄」。甚至有离职研究者都特意在简历上标明，自己并未参加Llama 4的训练。
在这样的背景下，业内最近对Yann LeCun的批评之风，是越来越盛了。
尽管这位图灵巨头是一位顶级科学家，然而，他能够动用数千亿的资本用于计算资源和内部研究，却仍然把Meta搞砸了。
那么，他的问题，究竟出在哪儿呢？
有人说，Meta在LLM大战中之所以落后，恰恰就是因为LeCun一直在积极表达自己对LLM前进方向的反感和拒绝。
如果在几十年后回望，LeCun今天的态度或许是对的，但跟奥特曼这类持硬核态度的激进分子相比，这种心态绝对会让Meta在当前的竞争中处于劣势。
如果一个大公司的首席人工智能科学家，都不相信自己正在投入工作的架构，而对于自己所信仰的架构却没有足够惊艳的成果，那么，造成目前的局面，就是显而易见的事情了。
LeCun对于LLM路线的不看好，被很多网友评论为「教条主义」。
「许多顶尖科学家都有这种毛病：因为太过自我，认为自己才最了解一切，因此难以转型。甚至有时，这些顶级人物的教条会直接影响到科学进步。」
对此，有人总结出了Meta失败的几大核心原因。
LeCun反对LLM的论调
Meta在MoE架构方面还是新手
开源发布过早导致的失败
研究产品团队的不协调，组织和管理的不善
当然，第一代Llama的出现，依然对于开源界有着石破天惊的意义，可在每天都在大爆炸的AI圈，这仿佛已经是五百年前的事了。
接下来，除非LeCun真的能成功开辟新范式，实现JEPA这样的世界模型，要么，Meta就只能继续在AI竞赛中落后。
下面让我们看看，近期LeCun对LLM「判死刑」的种种言论。
首先，LLM已经是过去式了
在英伟达2025 GTC大会上，LeCun表示了这样的观点：「我对LLM不再感兴趣了！」
他认为，如今LLM已经是过去式了，而我们的未来，在于四个更有趣的领域：理解物理世界的机器、持久记忆、推理和规划。
不过有趣的是，如今Llama的下载量已经达到了十亿次，这就意味着人们对LLM有强烈的需求，多少与「LLM已过时」的观点矛盾了。
言归正传，在演讲中LeCun表示，纵观整个AI历史，几乎每一代研究者都在发现新范式时宣称，「就是它了！再过五年、十年，我们就能造出在所有领域都比人类更聪明的机器。」
七十年来，这种浪潮差不多每十年就出现一次，而这一波，也同样会被证明是错的。
所以，「只要把LLM继续无限放大，或者让它们生成成千上万段Token序列，再从中挑出好的，就能获得人类级智能；两年内数据中心里就会诞生一个天才之国」的论调，在他看来完全就是胡说八道。
尤其是LLM所使用的Token，在刻画物理世界这件事上，完全不是一种好的方法。原因很简单：Token是离散的。
在典型的LLM里，可选Token只有十万级左右。于是，当你让模型去预测文本序列的下一个Token时，它只能输出一个概率分布，但永远不可能百分之百地给出那个唯一正确的Token。
对于文本来说，这套做法的问题还不大；但在视频等既高维又连续的自然数据面前，所有想通过像素级预测视频来让系统理解世界、构建世界模型的尝试，几乎全部失败。
同样地，哪怕只是训练神经网络去学习图像的优质表征，凡是依赖从损坏或变换后的图像重建原图的技术，也基本以失败告终。
其次，自回归LLM绝对「药丸」
在今年3月底的2025美国数学会联合会议上，LeCun则发表了一个题为「通往人类水平人工智能的数学障碍」的演讲。
在LeCun看来，如今的机器学习水平依旧拙劣。它的学习效率极低——模型往往要经历成千上万次样本或试验才能达到目标性能。
虽然自监督学习的确改变了AI，但它仍然非常有限。而动物和人类却能极快地掌握新任务、理解世界运行方式，能够推理、规划，还能拥有常识——它们的行为是由目标驱动的。
相比之下，自回归的LLM，则是通过预测序列中的下一个词或符号来训练的；这个序列可以是文本、DNA、乐谱、蛋白质等离散符号。
然而，自回归预测存在一个根本性难题。
本质上，它是发散的：设想生成的符号是离散的，每输出一个符号，就有多达100 000种可能。
如果把所有可能的Token序列视作一棵分叉度100000的巨型树，只存在一小棵子树对应于「合格答案」的所有延续。
问题在于，这棵「正确子树」仅是整棵树的微小子集。
若假设每生成一个符号就有独立的错误概率e，那么长度为n的序列完全正确的概率，便是(1‑e)^n。
即便e极小，该概率仍会随n呈指数级衰减，而在自回归框架下，这就无从补救。
因此，LeCun的判断是：自回归的大语言模型注定被淘汰！几年后，任何一个理智的人都不会再使用它们。
这就是LLM所谓幻觉的根源：它们会胡说八道，本质上就是自回归预测导致的。
在LeCun看来，在构建AI系统的新概念上，我们遗漏了非常重要的东西。
仅靠把LLM塞进更大的数据集，我们永远无法抵达人类级AI。但现在别说复现数学家或科学家，我们连模仿一只猫都做不到。
家猫能规划复杂动作，拥有因果模型，预知自身行为后果，而人类就更卓越了，10岁的孩子第一次就能把餐桌收拾干净、把餐具放进洗碗机——这就是零样本学习。
如今，AI已能通过律师资格考试、解数学题、证明定理——可L5自动驾驶汽车在哪？家用机器人又在哪？
我们仍造不出能真正应对现实世界的系统。事实证明，物理世界远比语言复杂得多。
这，就是莫拉维克悖论。
人类觉得麻烦的任务——比如计算积分、求解微分方程、下棋、规划穿越多座城市的路线——对计算机而言却轻而易举。
这说明，若有人把「人类智能」称作「通用智能」，那纯属无稽之谈——我们根本不具备通用智能，而是高度专门化。
一款典型的现代LLM，大概是在2×10¹³（约20万亿）个token上训练的。若按每Token 3字节计算，总量就是6×10¹³字节，向上取整约10¹⁴字节。要让任何一个人读完这些文本，得花上几十万年。
但一个4岁的小孩，虽然醒着的时间总共只有16000小时，但来自视觉、触觉、听觉等感官的物理世界信息，让他在这段时间里积累的信息量，同样达到了10¹⁴字节。
也就是说，如果AI无法通过观察世界来学习其运行规律，我们就永远到不了人类级别——因为文字里根本没有那么多信息。
在Meta，他们不使用AGI这一说法，而是高级机器智能（Advanced Machine Intelligence，AMI）：
• 能通过感官输入自行学习世界模型与心智模型，从而掌握直觉物理与常识；
• 拥有持久记忆；
• 能够规划复杂的动作序列；
• 具备推理能力；
• 在设计之初就保证可控与安全，而不是事后靠微调弥补。
LeCun预计在三到五年内，Meta就能在小规模上把这件事跑通；之后就看如何把它们扩展，直到真正做到人类级智能。
AMI的认知架构，可以简述如下。
• 世界模型；
• 若干目标函数；
• 行动体——负责优化动作以最小化代价；
• 短期记忆，对应大脑中的海马体；
• 感知模块——几乎整个大脑后部都在做这件事；
• 以及一个配置器。
所以，究竟怎样才能让系统从视频等感官输入中，学到世界的心智模型？
能不能借用自回归预测的思路，像训练LLM那样训练生成式架构，去预测视频接下来会发生什么，比如未来几帧？
答案是不行。
LeCun表示，自己已经在这条路上折腾了20年，彻底失败。
它适合离散符号的预测，但我们不知道该如何有意义地在表示概率密度函数的高维连续空间中，预测一个视频帧。
而他的解决方案，就是一种被称为JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）的技术。
LeCun表示，如果自己的判断没错，而且采用JEPA确实比生成式架构更靠谱，那所有人就该把生成式架构彻底丢掉。
他也承认，在如今人人都在聊GenAI的大环境下，自己却对他们说：「放弃GenAI吧！」像极了一个异类。
总之，LeCun在演讲最后给出了铿锵有力的呐喊。
如果你对人类水平的AI感兴趣，就不要专注于大语言模型。
如果你是AI领域的博士生，你绝对不应该从事LLM的工作，因为你把自己置于与拥有成千上万GPU的大型团队竞争的位置，你将无法做出任何贡献。
他表示，如果我们能在接下来五年内或十年内，解决一些真正的问题，那我们就能走上一条通往能规划和推理的真正智能系统的道路。
而唯一可行的方法，就是开源。
LeCun表示，如果自己成功了，那AI将成为放大人类智慧的一种工具，这只会对人类有好处。
一件积压在心底的陈年往事
而LeCun分享一件陈年往事，则让我们能够些许洞察到他的内心世界。
2022年，LeCun和Meta的几位同事训练出了一个LLM，把能找到的全部科学文献都塞了进去。
这个模型取名为Galactica。他们写了一篇长论文详述训练过程，开源了代码，还上线了一个所有人都能试玩的在线Demo。
结果，这个项目就在推上被喷得体无完肤。
许多人喊着「这东西太可怕了，它会摧毁整个科学交流体系」，因为连傻瓜都可以写出一篇听上去像模像样的「论吃碎玻璃有益健康」的科学论文了。
负面评论如同海啸般袭来，可怜的同事们夜不能寐，最后只能被迫撤下Demo，只留下论文和开源代码。
当时他们的结论是：世界还没准备好接受这种技术，也没人真正感兴趣。
结果三周后，他们就迎来了暴击：ChatGPT上线了，公众的反应俨然是「救世主再临」。
LeCun和同事们面面相觑，对于公众突如其来的这股热情百思不得其解。
Meta真不行了？不见得
虽然质疑声不断，但LeCun同样拥有着一些坚定的支持者。
正如有人在听完他演讲后，动容地表示——
「我真心敬佩LeCun，一位现实主义者，开源倡导者，一个绝非跟风炒作的人。尽管他因为反对LLM教条而招致很多仇恨，但我仍尊重他的诚实。」
「很高兴在如今这个时代，听到有人谈论LLM的局限性，尤其是他还在为一家股东公司工作。只有我们忽略炒作，关注局限性、失败的可能性以及其他工程原则时，AI才会是安全的。」
即便面对如今表现不佳的Llama 4，这些支持者依然坚信，在几个月内我们就会看到令人印象深刻的进展。
在一篇名为「即使LLM到达平台期，也不一定意味着人工智能寒冬」的帖子中，有人坚定支持了LeCun的路线。
在发帖人看来，虽然如今的大实验室都在专注于LLM，但仍有一些较小的实验室在探索替代路径。
他表示，自己一直以为Meta的LeCun团队是唯一一个在研究基于自监督、非生成、视觉系统的团队。
但就在几周前，有一群研究者发布了一种新的架构，该架构建立在LeCun一直倡导的许多想法之上。
论文地址：https://arxiv.org/abs/2503.21796
在某些情况下，甚至超过了LeCun自己的模型。
而且，在过去几年中，已经有越来越多的类似JEPA的系统出现，LeCun在视频中也提到过它们。
其中有些来自较小的团队，有些则来自谷歌。
如果哪一天，LLM这条路真的行不通，陷入停滞，或许我们会看到资金投入的下降，因为当前的投资其实很多都是基于公众和投资者的热情之上的。
但是，这并不意味着AI寒冬。过去之所以有寒冬，是因为人们从未被AI真正「震撼」过一次。
但自从ChatGPT诞生，人们已经见到了如此「聪明」的AI，这就让AI领域吸引了前所未有的关注，这种热情并没有消退迹象。
与其说我们会进入AI寒冬，不如说我们正在看到一种从主导范式向更多样化格局的转变。
对于整个人类来说，这是一件好事。当涉及到像智能这样难以复制的领域时，不把所有鸡蛋放在一个篮子里，才是最聪明的做法。
参考资料：
https://x.com/kimmonismus/status/1913265562853011863
https://www.youtube.com/watch?v=eyrDM3A_YFc&t=6s
https://www.youtube.com/watch?v=ETZfkkv6V7Y
