近日,地平线创始人余凯指出,99%的人类驾驶行为是不值得学习的,仿真强化学习更为重要。这与商汤绝影日前发布的强化学习技术路线不谋而合。

“某种意义上来说,余凯的观点是有道理的。尤其是在端到端的研究范式下,模型根据你输入的视频去预测自车行驶轨迹,但是大部分的时间,它只是很简单的直行状态。”

商汤绝影CEO、首席科学家王晓刚指出,只有驾驶行为发生改变的数据才有价值,而且通过参差不齐的驾驶行为数据,以及简单场景的数据,只能让模型达到人类平均水平。

基于这种背景,以及强化学习的新启发,商汤绝影(以下简称「绝影」在上海车展发布了一系列的技术进展。

其中包括生成式智驾R-UniAD技术方案、近实时在线交互的4D世界模型「绝影开悟2.0」,以及专为车载AIOS打造的AI内核「绝影千机」。



世界模型步入2.0阶段

今年,绝影以DeepSeek为启发,推出了强化学习的新范式——Reinforced-UniAD(R- UniAD),进一步拉高模型能力上限。

在车展现场,绝影展示了基于构建集VLAR (视觉-语言-行动-强化学习)技术架构的R-UniAD技术方案。



例如,以「施工占道刹停」路测视频作为输入,R-UniAD基于绝影开悟世界模型的4D仿真复现,然后端到端模型生成该场景下各种可能驾驶策略,并与世界模型生成的环境交互,反复强化学习中找到最优路径,能预判施工占道,丝滑变道绕行。经过泛化训练后,遇到类似场景,端到端模型也能及时变道,并显著提升对此类施工场景的泛化交互能力。

同时,绝影也宣布,其世界模型「绝影开悟」升级为2.0版本,进化为近实时在线交互的4D世界模型。

它能够实现「复杂场景自由复现」,也具备近实时交互能力,比行业SOTA 提升5 倍之多,让仿真训练过程更加高效和逼真,且感知结果接近真实精标数据98%,能避免因数据风格差异带来的Sim-to-Real 迁移时能力退化问题。

同时,王晓刚透露称,绝影也正与车企共同提升L3的解决方案。

“L3会有更多的冗余备份,对人机的协同性也会提出相应要求,比如要求接管的路径等。它同时它对于厂家融合的要求也会更高一些。”



在算力需求方面,王晓刚介绍称,尽管算力和模型能力存在正比关系,但绝影可通过MoE的架构,减少在同等规模参数的情况下,减少对端侧算力的依赖。

这是一种类似于DeepSeek的技术路线,以此方法结合多模态模型,绝影的New Member也能带来更多可能。

下一代车载OS的「AI内核」

在车展现场,商汤绝影也发布了专为车载AIOS打造的AI内核「绝影千机」,其中最核心的三大技术包括MOE多模态大模型、类人记忆框架以及原生智能体框架。

同时,AI 基础系统模块、AIOS 工具链和生成式UI等外围技术,也可以为三大核心模块提供支持与交互。

“如今,我们的业务模式也不局限于软件。鉴于未来云端的研发占比会越来越高,商汤也会提供AI DC云服务。”王晓刚指出,绝影是驾舱云三位一体的,将基础模型工具链和云服务相结合,已成为其业务特色之一。



据了解,依托于「日日新SenseNova V6」基础模型,绝影构建了覆盖0.1B 至70B汽车垂类模型矩阵,模型首字延迟小于300ms,吐字速度高达47 Tokens/s,性能超越DeepSeek。

同时,绝影还构建了业内首个端侧类人记忆框架,赋予AIOS认知力与成长性。

在这样的技术加持下,New Member拥有了多模态识人能力:不需要注册,它就能结合相貌,在座舱多人交互的过程推测出每个人的名字及关系。不仅如此,它还能记住你用户喜好及生活点滴,结合这些进行深度思考。

“当我坐上去的时候,它就会叫我王老师。那么,人与车的关系一下子就拉近了。从前,它是需要注册和登录的,今天,我们的小影能够直接通过面部记忆或聊天对话,知道用户姓名和身份。“

王晓刚介绍称,New Member能够记住用户生活当中经历的点点滴滴,会与用户形成共情,甚至能给予情感上的支撑。“

在绝影展台上,另一个热门技术是「3D视线交互算法技术」——它将舱内3D视线结合车外前视相机,能够辨识人眼所关注的人、车、建筑、二维码、花草树木等目标,真正实现「视线所及,所见即所得」。

“从前的2D视线技术,只能区分用户是在看哪块大的区域。如今我们把2D 视线追踪升级为3D gaze,而且可以结合车外摄像头进行交互——例如用户在座舱内看车外的人和物,还有建筑物的时候,3D gaze能够自动判断用户的视线定位在哪?具体是哪辆车?哪个人?”

王晓刚介绍称,3D gaze可以带来很多创新型应用,而且可以与辅助驾驶联动,甚至改变驾驶策略。

另外,打通舱内外的3D视线,能实现更多便捷功能。王晓刚还举了一个例子:在3D视线技术加持下,在离开停车场时,用户只需注视出口处二维码的同时说“我要缴费”,系统即可自动完成扫码支付,实现更便捷的无感通行。

“到了2026年,法规会强制要求DMS与高精度视线结合,这样能够大幅的降低智驾事故的发生率。所以我预测,接下3D gaze的使用会变得非常重要。”王晓刚说道。

另外,绝影还推出了跟健康和安全驾驶相关的,测你的心跳、血氧、血压,能够不舒服的时候做出主动的关怀和问候问诊,巡诊问诊、挂号。



在辅助驾驶领域,商汤绝影的量产方案目前已合作4家车企和7款车型。今年3月底,绝影和广汽联合打造的首批基于地平线征程6M的辅助驾驶方案,正式量产上市。今年还有更多基于地平线征程6打造的辅助驾驶方案量产落地奇瑞等众多车企伙伴。

另外,在英伟达DRIVE AGX Thor平台部署的绝影UniAD一段式端到端量产方案,也将于2025年第四季度量产交付东风汽车。

截至2024年底,商汤绝影已与超30家国内外车企达成合作,覆盖130余款车型,量产交付累计突破360万辆。

“现在,我们也在继续配合国内车企,做好出海的准备。2026年,ENCAP会对座舱中的DMS、OMS 增加很多强制性的要求,也会大幅的提升它的装配率。此外,我们与合资车企和全球品牌也一直都有合作。”

ad1 webp
ad2 webp
ad1 webp
ad2 webp