随着小米、小鹏、比亚迪等企业纷纷上车多模态识别功能，多模态大模型上车已成为行业趋势。
在两个月前首发的商汤绝影AI汽车智舱产品「A New Member For U」（你的家庭新成员），曾以“能够察言观色、心有灵犀，为智能汽车增加有趣灵魂”的特性吸引业内关注。如今，这位“家庭新成员”迈出了成长第一步，宣布与国内知名车企合作伙伴联手打造的行业首个原生流式多模态座舱产品已量产上车，并向用户进行OTA推送。
从目前表现来看，这款量产上车的智舱产品，已经能够实现“前车识别”“交通标志识别”和“沿途风光识别”等功能，其识别准确率、识别范围等在行业内处于前沿，还能和车内驾乘人员进行深入交流与互动。
其中，“前车识别功能”将把马路变成流动4S店，驾乘者在路上看到喜欢的车型，或者不认识但又想了解的车型，随时随地可以让车机答疑解惑，从车型、价格、上市日期，到背后的发展历史，几乎无所不知。
多模态大模型还有更突出的特长：前面如果有红黄蓝三辆车，当你问“蓝色车辆是什么车”时，传统模型可能会识别中间的黄车，而商汤绝影的车机能精准识别右前方的蓝色车辆。
此外，它识别的种类和范围也非常广，除了停产车型和小众品牌外，就连伪装车、无车标等特殊外观的车辆，通过尾灯、外形、构造等品牌特点也可以识别。
而“交通标志识别”是行业首发的产品能力，它就像一个随车教练，不仅能准确完善地解读交通标志信息，还可以根据用户询问，给出驾驶建议，让司机驾驶起来更加安稳放心。
至于“沿途风光识别”，更像是一位地陪达人。比如，当驾乘者接待亲朋好友时，车机能对行驶途中的建筑物和景点准确识别，并提供图文介绍，详细讲解景点和建筑，相关的历史典故、趣闻轶事等都能信手拈来，娓娓道出。
如果对这个沿途风光感兴趣，用户还可以让车机提供进一步的信息，比如询问某个路过小区的房价，或者制定特色旅游路，如网红打卡路线、亲子欢乐之旅、高校游览路线、美食路线等，带来全新的智慧出行体验。
从商汤绝影的产品方向可以看到，大模型的发展，如今已从单一模态卷到了多模态。人工智能在飞速发展的当下，如果想要真正在工作和生活中帮助人类，就必须支持并实现多种模态的感知、理解和交互，才能提升全面理解世界和人的能力。
商汤绝影CEO、商汤科技联合创始人王晓刚曾表示，原生流式多模态大模型是让文字、语音、视频等模态一同输入，模型统一处理后输出相应模态的信息，因而，商汤打造的原生流式多模态大模型，能让世间万物都可被感知、被理解、被交互。
这种全新的、直接接触用户的超级入口，让智能汽车成了绝佳的落地场景：依靠智能汽车内外各种常开的摄像头，用户可以实时跟汽车通过多模态的方式进行交互。同时，智能汽车的保有量不断增加，又能产生丰富的终端用户反馈和数据信息，让模型不断迭代成长。
可以预见，在“冰箱彩电大沙发”卷到头后，多模态大模型会开启智能座舱的新赛道，让汽车从冰冷的交通工具和机械式的助手，进化为“家庭新成员”。在这条赛道上，玩家能否拥有领先的模型能力、全栈的模型部署能力，实现及时的量产上车，让AI技术持续成长和学习，将是领先的关键。智能汽车加速进入AGI时代的日子，已经不远了。
采写：南都·湾财社记者 胡雯雯
