小女孩在车内偷偷摸摸地拿出一根棒棒糖，打算趁家长不注意迅速吃掉。
此时，传来了“不速之客”的声音：“恬恬最近长蛀牙了，医生说不能吃甜食。”
话音刚落，小女孩只得作罢，乖乖地把棒棒糖放置一旁。
这个视频出自专注汽车产业的AI公司商汤绝影，而视频场景中提醒小女孩的“不速之客”则是商汤绝影最新发布的智能座舱产品A New Member For U（你的家庭新成员），商汤绝影将新产品定义为“会察言观色、无时不在且与你心有灵犀的家庭新成员”。
11月27日，2024绝影实力AI Day在上海举办，商汤绝影全面展示了“驾-舱-云”三位一体的通用人工智能（AGI）产品体系与战略布局，发布智能座舱交互革新、端到端智能驾驶等前沿领域的最新产品。
前文提到的A New Member For U是绝影在座舱领域的成果，除此之外，商汤绝影还向外界展示了其构建的智能驾驶车云一体的产品矩阵，发布涵盖高速、城区以及泊车等全场景的高阶智驾、端到端智驾等绝影量产智驾产品体系。同时，全新升级“开悟”世界模型也在当日面世。
A New Member For U，你的家庭新成员
从普通的工具，成长为助理，再变成现在的家庭成员，大模型进入座舱以来历经了三个阶段，多次演变。
大模型上车伊始，它们主要扮演着工具的角色，为用户提供基础的对话、信息查询和问题解答服务。
随着技术的不断进步，具备逻辑思考和通用任务处理能力的AI Agent出现了，能够根据用户的指令，完成复杂的连续性任务，成为能干的助理。
“早在2021年年底的时候，商汤商业化小模型就超过2万个。由于一个模型只能解决特定任务，所以针对不同客户、不同任务，都要做定制化小模型，以应对特定场景。”商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚告诉亿欧汽车。“再往后发展，大模型不再受限于特定任务限制，通用性变得更强。”
在商汤绝影的展示中，其打造的智能座舱不再是冰冷的工具或者机械式的助理，而是“家庭新成员”。它能够感知、理解用户需求，提供有温度、有情感的主动关怀。比如实现前文提到的座舱提醒小女孩保护牙齿，不要吃糖；根据实际情况，座舱主动调节空调温度、车内音乐声音大小等等。
商汤绝影最新智能座舱产品的背后，是其原生流式多模态大模型。在OpenCompass多模态评测榜单中，绝影多模态大模型的理解和推理能力排名第一，以此为基础，全新智能座舱“家庭新成员”能感知用户的语音、表情、手势、以及环境数据，并进行深度理解和推理思考。
除此之外，商汤绝影还打造了车载类人记忆框架，让系统实现类人的记忆能力。
商汤绝影的记忆框架与人类的记忆机制非常相似。它有临时记忆，能记得一些瞬时信息，比如车里的物品、人的搭配、有没有系安全带等；也有长期记忆，就像是一个“档案库”，存储用户的基本信息、行为模式和偏好等，它可以自我迭代，能从用户长期使用中总结规律并不断优化。而通过场景记忆，车机能针对当前场景进行毫秒级的动态记忆检索，提取关键信息，进行决策，主动服务。
为了实现“家庭新成员”无时无刻陪伴的作用，绝影打造了能够持续推理的Always-on运行框架，将多模态感知到的信息与各种记忆相结合，依托端云协同架构，数据延迟控制在1毫秒以下，首包延时最快只需60毫秒，推理速度达40 Tokens/秒，对数据进行高效处理和反馈，时刻感知需求，主动为用户服务。
端到端量产在即，“开悟”全新升级
今年以来，有关“端到端”智能驾驶的讨论就甚嚣尘上。
之后，端到端智驾技术与模块化规则开始分庭抗礼，并逐渐在智驾方案之争中占据上风，端到端方案成为智驾技术的进化方向。从北京车展开始，多家公司陆续发布端到端智驾方案，商汤绝影就是其中一家。
在本届绝影实力AI DAY上，商汤绝影全面展示了基于J6E、J6M、Orin等不同算力平台打造的全场景高阶智驾、端到端智驾等绝影量产智驾产品体系。据亿欧汽车了解，商汤绝影的智驾量产交付也在稳步推进，基于UniAD的端到端量产解决方案将在2025年第四季度量产交付，基于J6平台的全场景高阶智驾方案预计2025年第二季度将量产交付，而量产端到端智驾方案则预计会在明年年底量产落地。
“端到端自动驾驶技术竞争的核心点，不一定是软硬一体或者垂直整合，而是数据。谁离数据最近，谁的数据基础设施最强，谁能把数据基础设施铺到主机厂，谁就在竞争中更占据主动权。”王晓刚说道。
在商汤绝影看来，行业已经意识到，端到端智驾模型对于高质量数据的需求呈指数级的增长。
然而，受限于高阶智驾的量产规模、算力资源，目前大多数车企和智驾公司都面临相同的问题，即高质量驾驶数据的获取难度大、效率低、成本高。
针对目前的困境，商汤绝影探索出一条新的道路，通过实车采集和仿真生成双轮驱动的数据闭环，构建量产智驾产品体系和世界模型深度融合的车云一体智驾新范式。
“智驾高端局的竞争不止是车端模型的比拼，端到端的决战，战场在云端。”王晓刚说道。
为此，商汤绝影全新升级并发布世界模型——“开悟”世界模型。
世界模型最基础也是最核心的能力是生成高质量视频数据，高质量数据的关键在于“真实”。基于多模态大模型打造的绝影世界模型，能够理解真实世界的物理规则、交通规则，生成的视频数据也更加逼真。现场展示的“开悟”生成视频案例中，晴朗天气下，汽车、路灯都是有影子的，右转车辆会主动让行优先级更高的直行车辆。
在真实的基础上，“开悟”生成的场景视频，时间最长为150秒、分辨率可达1080P、视角可以实现11V。
根据公开数据，“开悟”生成效果的各项指标开源均达SOTA，优于包括GAIA-1、DriveDreamer在内的国内外主流世界模型。此外，从2023年开始，在全球知名的自动驾驶仿真模拟任务竞赛Waymo Sim Agents的比拼中，“开悟”连续两年获得第一名。
通过多模态大模型，“开悟”世界模型可以支持多样化的自动驾驶场景及Corner case的可控生成。
目前商汤绝影基于1024类场景，能够泛化出更多的平行世界，打造了千万级的生成场景库，预计2025年对行业开放。
牵手奇瑞大卓、东风汽车，开展深度战略合作
智能驾驶方面，商汤绝影的智驾方案已量产交付广汽埃安、一汽红旗等3家车企6款车型。
智能座舱方面，第三方调研数据显示，商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联第一。此外座舱AI大模型产品已上车小米SU7、智己、LEVC L380等车型。
截至目前，商汤绝影已与超30家国内外车企达成合作，覆盖100余款车型，预计至2024年底，量产交付累计将突破350万辆。
王晓刚告诉亿欧汽车：“自动驾驶技术想要发展，需要巨大的资源投入。汽车领域的各位玩家需要找准自身定位，形成有效合作，才能防止资源浪费，达到共生共赢，最终实现长久可持续发展。”
秉持着合作共赢的信念，商汤绝影已和大卓智能、东风汽车等合作伙伴签订战略合作协议，在高阶智驾量产、端到端量产、AI云服务、AI大模型等领域开展全方位的深度合作，加速自动驾驶的落地与进化。
双方将共享算力集群与大模型能力、共建数据基础施设、共创智能汽车AI应用生态。商汤绝影将和车企合作伙伴共享商汤大装置，20000 P算力将为合作伙伴提供基础设施保障；同时，绝影将开放性能全面的基础大模型能力，提升车企的AI实力。
