梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
不过半个月，何恺明又有新作了，这次的主题是：
去噪方法结合哈密顿神经网络，让AI更懂物理。
何恺明团队认为，现有机器学习框架在处理物理问题时存在以下局限：
- 主要关注局部时间关系，如预测下一个时间步长的物理状态，而忽略了长程和高层物理交互
- 主要聚焦于正向模拟，如根据初始条件预测系统的演变，而忽视了其他物理推理任务
受到生成图像的扩散模型启发，新框架去噪哈密顿网络将哈密顿神力学运算符推广为通用的神经运算符，既遵循物理约束，又利用神经网络的灵活性和表现力，并在钟摆等物理推理任务中展示了去噪哈密顿网络的有效性和灵活性。
让AI更懂物理，怎么做到的？
首先来介绍哈密顿力学，将系统的演化通过相空间中的轨迹表示，其中的动力学规律由哈密顿方程给出。
传统的哈密顿神经网络（HNN）将哈密顿量视为由神经网络参数化的黑盒函数，并通过优化参数最小化损失函数。
但HNN在推理时却受到挑战，由于确定新的系统状态需要解决优化问题，当可用数据由单个仿真轨迹组成而没有额外的参考点时，就会变得困难。
新的解决办法是把优化过程合并到网络中，统一了每个时间步长状态优化的去噪更新规则和跨时间步的哈密顿建模状态关系。
首先，Block-wise哈密顿量设计将系统状态按块划分和设置步长，建立起不同时间块之间的联系，可以观察系统在不同时间尺度上的行为，超越了经典HNN仅对相邻时间步的建模局限。
由于期望Block-wise哈密顿量不仅能对跨时间步的状态关系进行建模，还能学习每个时间步的状态优化，以用于推理。
因此采用掩码建模策略，在训练网络时，将部分输入状态掩码掉。
具体操作上，向输入状态添加不同幅度的噪声，而不是简单地掩码掉输入状态。
通过设计不同的掩码模式，可实现适应不同任务的灵活推理策略：
- 自回归掩码：掩码掉最后几个状态，类似于物理模拟中的下一状态预测的前向建模。在正向模拟任务中，训练时模型根据前面已知状态预测被掩码的后续状态，学习状态随时间的演变规律，推理时利用这些规律预测未来状态。
- 超分辨率掩码：掩码掉中间的状态，可用于数据插值。在轨迹插值任务中，通过这种掩码模式，模型学习根据周围已知状态来推断中间被掩码状态的值，从而实现对稀疏轨迹的超分辨率处理。
- 任意顺序掩码：包括随机掩码，可根据任务需求自适应设计掩码模式，增强模型在不同场景下的适应性。在表示学习任务中，随机掩码有助于模型学习到更鲁棒的物理系统特征表示。
基于Block-wise哈密顿量构建的神经网络基于仅解码器Transformer。
总体是与GPT系列类似的架构，但没有因果注意力掩码，对每个轨迹使用潜空间编码z作为哈密顿值输出的查询token，编码每个状态的噪声标度并添加到位置嵌入中。
该架构不是依靠编码器从轨迹数据中推断全局潜空间编码，而是采用自解码器框架，为每个轨迹维护一个可学习的潜空间编码z。
这种方法允许模型存储和优化特定于系统的嵌入，而无需单独的编码过程。
在训练过程中，共同优化网络权重和Codebook。训练后，给定一个新的轨迹冻结网络权重，只优化新轨迹的潜空间编码。
在单摆和双摆系统上进行实验，测试了去噪哈密顿网络在正向模拟、表征学习和轨迹插值三个任务中的性能。
正向模拟实验中，噪哈密顿网络比传统哈密顿网络在长期预测中表现更优，显示出更好的稳定性和准确性。
表征学习实验中，即使在输入状态存在噪声和不完整的情况下，去噪哈密顿网络也能恢复系统状态，在处理不完整或损坏的观测数据时具有较强的鲁棒性，能够提取到物理系统的关键特征。
轨迹插值实验中，去噪哈密顿网络即使在采样非常稀疏的情况下也能保持较高的准确性，与其他基准模型相比能够生成更平滑、更接近真实轨迹的预测结果，展示了其在处理稀疏数据方面的优势。
论文一作清华校友
这项研究由来自麻省理工学院、斯坦福大学、哈佛大学、布宜诺斯艾利斯大学、美国东北大学的研究人员联合完成。
论文一经公布，作者就激情当起了自个儿的首批自来水（doge）。
一作Congyue Deng还在X上留下了几个开放性问题：
在深度学习中，如何定义物理推理？
什么是物理模拟？
神经网络应具备哪些物理属性？
DHN并非终极解决方案，而只是一个开端 。
值得一提的是，Congyue Deng还是清华校友，2020年本科毕业于清华大学数学系，GPA（平均学分绩点）在114个人里面排第一。
现在她是斯坦福大学计算机科学系五年级博士生，师从Leonidas Guibas。（这篇论文的部分工作是Congyue Deng在麻省理工学院做访问生期间完成的）
今年9月起，她将成为麻省理工学院Tayebati博士后研究员，同时也是美国国家科学基金会（NSF）的人工智能和基础相互作用研究院（IAIFI）研究员，与MIT大牛何恺明、Bill Freeman、Marin Soljačić合作。
她的个人主页介绍，研究兴趣包括3D计算机视觉、几何深度学习以及物理表示学习。
短期内，她专注于将几何表示学习整合到生成模型中，以便更好地捕捉数据分布的低维流形结构，特别关注其在物理学和机器人领域的应用。从长远来看，她希望从数据中揭示几何结构，为神经网络中归纳偏置的设计提供参考。
Congyue Deng还特别感谢了在论文中出镜的猫猫，名叫Rell：
论文地址：https://arxiv.org/abs/2503.07596v1
参考链接：https://x.com/CongyueD/status/1899296857819697324
