新智元报道
编辑：编辑部 ZJs
【新智元导读】硅谷投资人Tom Davidson的硬核长文预测，给出了惊人结论：全栈的AI大爆炸，或将率先发生在中国！而当芯片规模扩大1万倍时，AI将逼近物理极限。
如果AI系统能自己设计出更强大的AI，智能爆炸可能很快就要到来了！而人类，会被AI迅速甩在后面。
最近，硅谷投资人、EverFi CEO兼创始人Tom Davidson等人发表了一篇长文硬核博客，详细讨论了智能爆炸（Intelligence explosion, IE）的类型以及对应的发生概率。
这篇博文里，有许多非常炸裂的设想，但仔细一想，仿佛离变成现实并不远了。
比如，AI会改进算法和软件，提高AI芯片的质量，同时提高芯片的产量。
这些过程，会形成几种循环，周期分别是3个月、数月，以及数年。相对应的，就是软件大爆炸、AI技术大爆炸，和全栈大爆炸！
当反馈循环首次启动，AI进步就有有一个初始的加速。
然后，作者通过计算给出了惊人的结论：在到达AI到达物理极限之前，这些反馈循环最终将导致有效计算能力增加13到33个数量级！
最终，爆炸性的结论来了——
AI在达到有效的物理极限之前，能进步到什么程度？
答案是，软件效率可能提升大概13个数量级，也就是1000亿倍；芯片技术可能提升100倍左右；芯片制造规模可能扩大1万倍左右！
所以，哪个国家会率先实现全栈大爆炸？答案是——很大可能是中国。
AI给自己设计软件，开启进化之路
今天看起来像科幻的课题，可能会在十年内成为现实。
如何理解即将到来的变化？
通向繁荣未来的有哪些路径？
Forethough是研究型非营利组织，专注于如何应对过渡到拥有超智能AI系统的世界。
该组织认为AI系统很快可能比人类更具能力，迅速推动技术发展。
一旦AI系统能自己设计、打造出更强大的AI系统，AI的发展速度就会加快，我们可能会见证一场智能爆炸（IE）。
AI的能力会飞速提升，远超人类水平。
经典的智能爆炸，涉及一个反馈循环：AI设计出更好的软件，这些软件助力打造出更强大的AI，又能进一步改进软件，形成持续的良性循环。
3种反馈，3种智能爆炸
AI开发过程中，有许多环节都能产生类似的正反馈，主要有以下三种：
软件反馈循环：AI开发出更好的软件，包括训练算法、训练后的增强、利用运行时计算的方法（如o3）、合成数据以及任何非计算改进。
芯片技术反馈循环：AI设计更好的芯片，包括NVIDIA、TSMC、ASML等半导体公司进行的前沿研究和设计工作。
芯片生产反馈循环：AI和机器人生产更多芯片。
三种反馈循环
这些循环能引出三种智能爆炸：
一种是仅由软件优化带来的软件智能爆炸；
一种是软件和芯片技术共同改进引发的AI技术智能爆炸；
还有一种是软件、芯片技术与芯片生产带来的全栈智能爆炸。
三次智能爆炸
即使软件智能爆炸未能实现，或者很快陷入瓶颈，AI技术和全栈智能爆炸仍然是可能的。
智能爆炸一开始可能较为平缓，但后续发展速度极有可能大幅加快。
研究显示，每个反馈循环都能推动AI的加速进步。
在达到物理极限之前，有效算力有望提升20到30个数量级，使AI能力实现质的飞跃。
一般来说，软件改进的时间延迟最短，接着是芯片技术改进，芯片制造的时间最长。
这些反馈循环可能推动三种不同类型的智能爆炸（IE）：
软件IE：仅AI驱动的软件改进，就足以推动AI快速且持续加速发展。
AI技术IE：需要AI在软件和芯片技术两个方面同时改进，但无需在芯片生产环节进行优化。
全栈IE：要求在软件、芯片技术和芯片生产三个方面均有所改进。
如果有效的物理极限还远，IE的规模就会更大，速度也会更快。
预计在达到极限之前，软件反馈循环能将有效算力提高大约13个数量级（OOMs），芯片技术循环还能提高6个数量级，芯片生产反馈循环能再提高5个数量级。
若能把太空中太阳的能量都利用起来，还能再提高9个数量级。
如果近期有效算力增加与AI能力提升之间的关系继续成立，软件将实现4个「GPT量级」的能力飞跃，即4个GPT-3到GPT-4的提升。
芯片技术方面可再实现约2个「GPT量级」的提升，芯片生产大约有2到5个「GPT量级」的提升。
这些智能爆炸，拥有不同的战略意义。
比如软件大爆炸，最有可能出现在美国，因为这些AI芯片和算法的所有者掌握着高度集中的权力。
AI技术爆炸，最有可能出现在美国和半导体供应链中的其他国家和地区，比如台湾省、韩国、日本、荷兰，而权力会更广泛地分布在AI算法、AI芯片和半导体供应链所有者之间。
而全栈爆炸，更有可能发生在中国和海湾国家等拥有强大工业基础的国家，这种爆炸也会将权力更广泛地分布在整个工业基础中。
三种反馈循环
1965年，数学家I. J. Good提出了智能爆炸的概念：
假设一台超智能机器被定义为能远远超越最聪明人类的机器。由于设计机器属于智力活动范畴，一台超智能机器可以设计出更先进的机器，那么无疑会发生一场「智能爆炸」，人类的智力将被远远抛在后面。因此，第一台超智能机器将是人类的最后一项发明。
一旦AI能自主设计和构建更强大的AI系统，就会形成反馈循环。
实际上，AI开发中有许多环节可能产生正反馈循环，其中有三个对IE有推动作用的关键反馈循环：
软件反馈循环：AI对自身算法、数据、训练后优化和其他软件技术进行改进。典型例子是完全自动化AI开发实验室的研究和工作。在这里，AI系统改进算法，这些算法用于开发更好的AI系统，进一步改进算法。
芯片技术反馈循环：AI改进AI芯片的质量。典型例子是NVIDIA、TSMC、ASML等半导体公司研发部门的自动化，能在不增加工厂的情况下，做出运算速度更快、性能更好的芯片。在这些芯片上训练或推理，AI能力得到提升。
芯片生产反馈循环：AI增加AI芯片的产量。典型例子是机器人完全自动化芯片工厂从建设到运营的全过程，包括开采原材料、运输、工厂建设和日常运转。机器人建造更多的工厂、生产更多芯片，用于训练更强的AI系统，然后设计更好的机器人去建更多的芯片工厂。
反馈循环需要多久
智能爆炸到底能多快发生呢？
智能爆炸不太可能一下子就发生，因为每个反馈循环都有时间延迟。
软件反馈循环的时间最短，芯片生产反馈循环的时间最长：
训练最先进的AI模型，大约需要3个月，这是软件反馈循环里主要的时间延迟，不过微调等优化耗时少得多。
对于芯片技术反馈循环，将新技术集成到工厂并生产出新芯片，通常需要数月。
建设新的芯片制造厂，往往需要数年，这是芯 片生产反馈循环所需的。
三种反馈循环，时间延迟用橙色表示
因此，软件改进的时间最短，其次是芯片技术改进，芯片生产需要的时间最长。
进一步细分三个反馈循环，并将每个细分时间延迟的持续时间可视化
反馈循环的顺序
理论上，IE可以由这三个反馈循环任意组合、按任意顺序出现。
但实际上，软件反馈循环很可能最先开始，然后是芯片技术，最后是芯片生产。
软件是虚拟的，因此可能最先被自动化：
AI实验室可以自己生成自动化所需的所有数据。
AI实验室直接管自己的工作流程，这就更容易把软件自动化。
和芯片技术、芯片生产反馈循环相比，软件最初的反馈循环时间更短。
从定义来看，芯片技术也是虚拟的，但可能在软件之后自动化：
芯片技术往往依赖研究人员的专业知识，且这些研究人员不在AI实验室工作，因此更难获取训练数据。
芯片技术涉及的任务比软件更多样，自动化所有任务需要更长时间。
硬件研发实验必须在现实世 界中进行，很难自动判断任务完成得好不好。
芯片生产涉及半导体供应链的各个环节，涉及广泛的认知与物理任务，因此可能最后被自动化。
机器人技术一直是AI进步相对较慢的领域，而芯片生产需要先进的机器人技术。
首先，他们会优先考虑AI软件，当软件的潜力挖掘殆尽后，会将精力转向芯片设计（比英伟达的硬件设计，无需改装芯片工厂）。同时，还会想办法研发更快建造芯片工厂的新技术，减少时间滞后。
三种智能爆炸
要是这些反馈循环足够强，就会带来智能爆炸，让AI能力飞速提升！
有三种可能的类型：
软件IE：只靠软件反馈循环就能引发，最有可能突然发生。
AI技术IE：软件和芯片技术反馈循环共同作用，因为AI在改进软件和芯片技术时，实现了认知工作自动化，但不需要物理自动化。和软件相比，这种IE没那么突然。
全栈IE：三 个反馈循环一起发力，这种情况最不可能突然发生。
三种智能爆炸类型可能依次出现，也可能仅出现其中一种或两种，甚至一种都不出现。
三个反馈循环与三次智能爆炸的关联
智能爆炸呈现这种顺序，很大程度上是由于相关反馈循环实现自动化的顺序。
即使软件和芯片技术反馈同时自动化，因为软件循环的时间延迟更短，软件IE仍会先于AI技术IE。
软件智能大爆发
目前，AI技术IE和全栈IE尚未得到充分深入的研究分析。
三种反馈循环的分析
AI的发展，会随着时间推移加速吗？
除了时间延迟，还有个因素得考虑，就是这些反馈循环可能不够强，反馈太弱不足以让AI发展加速。
反馈循环刚自动启动时，AI发展会提速。但如果循环不够强，之后发展速度可能又会降下来。
一开始，是人类推动AI发展（上图绿色部分）。
接着，改进AI的工作慢慢实现自动化（上图橙色部分）。
最后，基本都是AI系统自我改进（上图蓝色部分）。
从实际经验来看，在最后阶段，AI发展开始会加速，直到最后趋于平缓。
反馈循环能不能让发展加速，就看输入翻倍的时候，输出能增加多少：
要是输出增加不止一倍，那发展就会加速，因为下一次输入翻倍，能利用的输出比上一次多，所以速度会更快。
研究改进AI软件和硬件要付出的努力，的确能找到一些实际证据。
分析发现，要是没有监管这类人为限制，软件智能爆炸概率大约50%，AI技术智能爆炸大概65%，全栈智能爆炸可能性大概80%。
1.软件智能爆炸：很可能会加速，因为软件反馈循环本身，就可能维持加速发展，可能性大概50%。
在各个AI领域，效率提升很明显，研究投入翻倍，计算效率提升不止一倍（Epoch估计在多个领域，投入翻倍，输出能增加0.8到3.5倍）。
考虑了效率之外的其他发展因素，再做些调整，加速发展好像挺合理。
而Davidson预计，每增加1倍的认知投入，输出能增加1.2倍，范围在0.4到3.6倍之间）
2.AI技术智能爆炸：加速的可能性也很大。只要芯片技术反馈循环，就足以维持加速发展，可能性大概65%。
如此看来，软件和芯片技术反馈循环加起来，很可能推动加速发展，可能性大概75%。
从历史数据看，硬件研发投入翻倍，每美元能换来的FLOP大概提升5倍。
要是只算认知投入，这个数字会降低，要是接近物理极限，也会降低，但投入翻倍，输出增加一倍以上还是有可能的。
3.全栈智能爆炸：极有可能加速。
芯片制造反馈循环本身，很可能维持加速发展，可能性大概80%。
和其他反馈循环一起，全栈智能爆炸加速的可能性大概90%。
要是能造出建造物理资本用的机器人和基础设施，投入翻倍，产出基本也能翻倍。
因为不考虑资源限制，机器人多一倍，造出来的东西也能多一倍。
要是机器人还能自我改进，那投入翻倍，产出增加肯定不止一倍。
当然，要是稀缺自然资源开采越来越难，投入翻倍，产出增加可能不到一倍。
但从历史经验看，原材料稀缺的时候，创新一般能弥补这个问题。
不过要注意，把监管等人为限制考虑进去，总体加速发展的可能性会降低。
达到物理极限之前，AI能发展到何种程度？
除了发展速度会不会加快，还要考虑每个反馈循环在接近物理极限前，AI能有多大发展。
要是物理上限很高，那AI总体发展空间就大，而且有更多时间加速，发展的最快速度也就能更快。
现在，有效训练计算大概每3个月翻倍一次。
而理论上，发展最快速度能达到近期速度的100倍，差不多是「有效训练算力」每天翻倍。
但实际上，可能因为技术限制或者人为因素，到不了这么快，也可能还没加速到速度上限，就达到物理极限了。
总的来说，很难准确估计最快速度，但至少看起来会非常快。
如果这些极限更高，那么不仅可以实现更多的总进展，且进展的最大速度（包括加速度）将更快
可以从有效计算的角度，来衡量离物理极限有多远。
在达到物理极限前，估计软件效率可能提升大概13个数量级，也就是10000亿倍；芯片技术可能提升100倍左右；芯片制造规模可能扩大1万倍左右。
1.软件：效率可能提升大概13个数量级，但不确定性很大。
要是一开始用1e29 FLOP训练顶级AI，比人类学习（大概1e24 FLOP）效率低5个数量级左右。
和人脑相比，软件估计还有大概8个数量级的提升空间，不确定性特别大（这里只算训练效率，没算软件其他方面的发展）。
2.芯片技术：在现在的技术模式下，可能提升2个数量级左右。
要是技术接近兰道尔极限（不可逆计算在能量效率上的物理限制），总共可能提升6个数量级左右。
要是用可逆计算，可能提升空间更大。
3.芯片制造：利用地球上的能量，规模可能扩大5个数量级左右。
要是用太空太阳能，把太阳发出的能量都收集起来，还能再扩大9个数量级左右。
每个反馈循环在达到物理限制之前，总共有多少改进空间的估计。
把这三个反馈循环的极限加起来，就能知道三种智能爆炸在达到物理极限前能发展到啥程度：
1.软件智能爆炸：有效算力可能提升13个数量级左右，甚至更多。
2.AI技术智能爆炸：有效算力可能提升19个数量级以上。
3.全栈智能爆炸：利用地球上的能量，有效算力可能提升24个数量级左右；要是利用所有太阳能，可能提升33个数量级左右。
对每次智能爆炸在达到物理极限之前，总共有多少改进空间的估计。
智能爆炸的速度
下面是三种比较可能出现的情况：
1.渐进情况：全栈智能爆炸慢慢发生。
光软件和芯片技术反馈循环，推动AI加速发展。
因为时间延迟，全栈智能爆炸刚开始发展慢，和2020-2024年的速度差不多。
但随着时间推移，它会加速，最后变得特别快，翻倍时间可能就几个月，甚至更短，因为有效物理极限很高。
2.波动情况：先是软件智能爆炸，但提升3个数量级左右就慢下来了。之后，AI技术和（或）全栈智能爆炸开始，一开始速度比较慢，最后变得特别快。
3.快速情况：软件智能爆炸规模很大，能提升6个数量级以上，而且几个月内就发生，而且物理极限还很高。
这让技术有很大改进，大大缩短了芯片技术和芯片制造反馈循环的时间延迟。
所以，后面的AI技术和（或）全栈智能爆炸一开始就很快。
而且在软件智能爆炸趋于平稳之前，不会明显减速。
对于前两种情况，也就是超级AI要过很久、等产业扩张后才出现的情况，现在还没多少人从战略角度好好思考过。
参考资料：
https://www.forethought.org/research/three-types-of-intelligence-explosion
