“AI端侧模型与硬件模组一体化”迎接智能终端大爆发。
2025年伊始，DeepSeek的风潮无异于一声惊雷，把大模型再次炸出了圈。
在海外，被这波巨浪冲击到的模型厂——OpenAI、Anthropic、xAI纷纷公布最新进展，力证自家模型依旧领先。
国内，随着微信接入DeepSeek-R1，国内移动互联时代的王炸APP和大模型时代的国运级创新的大模型就此联手。
而在产业场景更深处，DeepSeek这次引发热议的推理模型DeepSeek-R1也引发一些思考。
比如，如何顺利把它运用在强隐私安全保护、不能上互联网处理、需要多模态视觉AI分析、需要更快响应速度并且算力有限的终端侧场景？
这些场景市场广阔，包括：医疗器械（显微镜、内窥镜等）、手机相册、个人文件存储、家庭NAS、保密安全PC、汽车、手表、智能家居、AI萌宠、机器人等等。据估计，至2032年全球AI端侧市场有1436亿美元。
DeepSeek提供了蒸馏版模型（如1.5B版本），进一步优化了资源受限硬件的运行能力。以分析苹果出名的分析师郭明錤，日前也发文指出，DeepSeek爆红后，端侧AI趋势将加速推进。
这种趋势已经开始显现。
在这两天的一场发布会上，36氪看到，有着长期AI核心技术积累和落地经验的“深思考人工智能（iDeepWise.ai）"发布了鸿蒙系统端的“TinyDongni”&“DeepSeek”超小端侧多模态大模型，并与国产算力模组适配，形成一揽子的端侧AI解决方案。
概括来讲，深思考做了几项工作：
1、使用其自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 方法量化压缩了DeepSeek R1模型为 DeepSeek R1 -1B端侧模型。
2、使得DeepSeek R1-1B “长眼睛”具备视觉模态能力，从而增强为多模态模型。
3、适配了开源鸿蒙操作系统（据悉也同时适配了Linux Ubuntu 22.04 / 统信UOS/Windows 10 & 11/Android 14）
4、将TinyDongni”及“deepseek”超小端侧多模态大模型优化运行至国产算力模组，推出一站式解决方案。
36氪了解到，这些方案的突出优势在于：
1、深思考自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 算法是深思考专为端侧大语言模型设计的全新多元自适应压缩算法，致力于在低功耗、低延迟和低资源占用的条件下实现卓越性能。为边缘设备上的AI部署带来了突破，使得精度与效率兼得，简单来讲就是虽然模型尺寸变小了，但在重点落地场景下的指标却能保证精度，不会“失智”和“幻觉百出”。
2、在医疗健康场景下做了增强训练，学习了超1600万篇权威医学健康论文、指南、专家共识。
3、AI模型+AI系统套件+算力模组一站式方案，运行流畅，据评测深思考已将其自行量化的DeepSeek 1B版本模型端侧部署于瑞芯微 RK3588之上，且能达到每秒10.2个tokens的推理速度。而深思考TinyDongni端侧多模态大模型在瑞芯微 RK3588上推理速度为：13.6tokens/s；
4、深思考提出的一种的多层次语义解码架构Dongni-v，通过自适应的模态交互机制实现了图像和文本特征的跨模态对齐。这一架构的核心优势在于它能够自动捕捉多模态数据中的细微语义关联，并通过全新的“语义连贯度评估”技术，确保不同模态信息的无缝衔接。Dongni-v赋予了Deepseek R1-1B模型“多模态“能力。
做出这些创新的深思考人工智能（iDeepWise.ai），是一家专注于类脑人工智能与多模态大模型核心科技的公司，核心团队主要是来自中科院、清华、耶鲁大学一线的AI科学家及领域业务专家。
Dongni.ai，是他们推出的多模态大模型。TinyDongni则是这家公司专为端侧设计的模型。早前，TinyDongni这一端侧模型已经规模化落地在AI PC、AI手机、AI显微镜、AI NPU摄像头等场景中。
这一次深思考人工智能（iDeepWise.ai）最新带来的，是和鸿蒙系统适配的“TinyDongni”及“deepseek”端侧多模态大模型。“这是鸿蒙系统上的首个端侧DeepSeek-R1-1B模型。”深思考人工智能（iDeepWise.ai）创始人及CEO杨志明博士表示。
并且，深思考人工智能（iDeepWise.ai）还把国产的端侧大模型方案进行了一系列深化。它与国产头部模组厂商广和通、深开鸿达成深度合作，并推出适配国产算力的硬件解决方案。
也就是说，这家公司已经把端侧模型的可用国产方案，整体落地了。
基于鸿蒙系统的端侧模型和多模态的DeepSeek-R1
端侧大模型，能推动更多更具想象力的新场景落地。尤其当AI眼镜、AI手机、AI耳机、机器人、AI玩具等各类硬件在2024年纷纷成为关注焦点，端侧模型结合各类硬件设备也更加常见。
最广为人知的例子不外乎iPhone。半年前，苹果在自己的秋季发布会上推出iPhone16。这其中的AI功能，本地端侧模型发挥了不少价值。在iPhone之外，AI眼镜、机器人等产品，也需要端侧模型的能力。
问题在于，虽然各类AI硬件已经随处可见，但却很少出现让人人都觉得体验很好的产品。
在端侧，由于计算和存储资源所限，过大的模型无法正常运行。经过量化，不少模型虽然可以运转，却时常会“变笨”。整体而言，如果要让一个端侧的模型顺利“跑起来”，不仅需要模型层的努力，还需要和操作系统、算力侧一起进行“软硬一体”的优化。
达成这些要求并不容易，这使得到了2025年，不少大模型公司还在持续追求端侧模型的突破。
深思考人工智能（iDeepWise.ai）也是持续在端侧布局的AI公司之一，其落地战略为端、边、云三侧AI落地于深度垂直场景，实现“四化”（即：垂域化、场景化、产品化、服务化）。而在安全隐私保护要求高，不能联网上云的场景，则重点布局端侧AI
之前，深思考已经推出过自己的端侧模型——2024年秋天，深思考人工智能（iDeepWise.ai）自研的纯端侧大模型--TinyDongni，首次对外亮相。
36氪了解到，TinyDongni是完全在终端侧推理的多模态大模型，可以在设备本地（如智能手机、IoT设备、嵌入式系统等）运行。
作为一个专门针对端侧场景的模型，TinyDongni具备端侧模型的突出优势，包括参数尺寸规模小（1.5B、0.4B、0.15B三个尺寸规模的端侧模型）、响应速度快，纯端侧运行，保障用户数据安全性等。
而这一次2025年初的新发布，是深思考人工智能（iDeepWise.ai）在半年之内对端侧模型的全新、全面升级。
在发布会中，我们看到首个基于鸿蒙系统的端侧模型TinyDongni、基于DeepSeek-R1的超小端侧版本，以及和国产操作系统、算力做了结合的端侧全链条方案，都在杨志明博士的展示中逐一亮相。
杨博士进一步介绍，TinyDongni是公司自研的端侧模型，参数大小为1.5B和0.4B。TinyDongni端侧模型采用DongniForCausalLM架构，通过创新的量化方法显著降低首Token延迟，支持32K超长上下文理解，并通过多芯片协同处理与内存优化技术，兼顾低功耗与高响应速度。
另外一个通过DeepSeek-R1优化的端侧模型大小为1B，可以强化场景下的多模态语义理解，适配智能硬件与边缘计算场景。而且，这一模型聚焦垂直场景里的多模态信息（文本、图像、视频）的分析，内存占用降低了30%。
值得关注的是，目前市场中使用的开源版DeepSeek-R1模型，最小参数为1.5B。也就是说，这次新发布的1B端侧模型，是深思考人工智能（iDeepWise.ai）自研量化压缩的版本。而且，他们还给这个基于DeepSeek-R1的1B模型加上了多模态能力，让它能够识别图片、视频，也能“说话”。
在现场展示中，这个基于DeepSeek优化的模型，思维链的展示非常清晰。
36氪还了解到， 深思考量化DeepSeek模型的技术方案具备原创性。
深思考表示，Dongni-AMDC(Adaptive Multi-Dimensional Compression) 是公司专为端侧大语言模型设计的全新多元自适应压缩方法，目标是在低功耗、低延迟和低资源占用的条件下实现卓越性能。
具体拆解，AMDC通过独特的智能动态优化策略，对模型权重和输入同步压缩，一方面对模型进行综合优化分析，得出最适合的压缩方式和推理精度；与此同时，对输入数据进行稀疏压缩，显著降低推理开始时需要处理的信息量。这让首Token延迟大幅降低，非常适合需要快速响应的场景。
与此同时，通过计算任务智能分配、模型动态加载以及权重共享技术，还可大幅降低模型内存，提高推理速度，非常适合内存受限的设备，比如智能手表、手机或物联网终端。
而在对DeepSeek- R1的多模态改造上，深思考也进行了创新。
整体来看，他们打破了传统的跨模态融合方式，提出多层次语义解码架构Dongni-v，通过自适应的模态交互机制实现了图像和文本特征的深度共鸣。
这一架构的核心优势在于它能够自动捕捉多模态数据中的细微语义关联，并通过全新的“语义连贯度评估”技术，确保不同模态信息的无缝衔接。
全链条国产方案
推出低功耗、低延迟、多模态的端侧模型，只是深思考人工智能（iDeepWise.ai）在端侧布局的第一步。
如上文所说，在完整的解决方案上，它还和产业链上下游协同，与国产操作系统、国产模组达成合作。
在发布会中能看到的是，操作系统侧，深思考人工智能（iDeepWise.ai）的端侧模型已经兼容OpenHarmony、Linux、Windows、Android等主流操作系统。国产算力侧，它宣布与国产头部模组厂商广和通、深开鸿达成合作，推出适配国产算力的硬件解决方案。
具体看这两大国产模组解决方案：
深开鸿模组，配置了瑞芯微RK3588 芯片和OpenHarmony系统，具有较强的影像处理能力，支持8K解码与多屏交互，将赋能工业检测、AI摄像头等高精度场景。
广和通模组，配置了高通QCS8550芯片，集成了高性能图形引擎和综合算力达48TOPS的AI引擎。依托深思考人工智能的算法优化，这一模组可为车载、机器人等场景提供实时AI处理能力。
36氪了解到，这两种模组方案的推出，将AI智能硬件的开发周期缩短了50%，降低了AI智能硬件的技术门槛，。另一方面，深思考人工智能（iDeepWise.ai）和头部模组厂商的合作，让自己的端侧模型方案更快、更深入地落地到了车载、机器人、工业检测、摄像头等场景中。
杨志明告诉36氪，目前很多模型和国产算力的磨合还在初期，甚至会出现模型“根本跑不起来”的情况。但这一次深思考人工智能（iDeepWise.ai）的端侧模型不仅和鸿蒙等国产操作系统适配，还和国产模组、芯片配合落地，推出了不少行业案例。这背后，是深思考人工智能（iDeepWise.ai）和国产芯片持续一年之久的打磨。
深思考还提供了各个模型适配的硬件速度参考。
将其自行量化的DeepSeek 1B版本模型端侧部署于瑞芯微 RK3588，能达到每秒10.2个tokens的推理速度。
而深思考TinyDongni端侧多模态大模型，在瑞芯微 RK3588上推理速度为：13.6tokens/s
也就是说，这两大方案在国产算力硬件上的跑通，标志着国产端侧AI技术在低功耗、高性能领域实现重大突破，打破了“国产算力性能不足”的固有认知。
如果整体看深思考人工智能（iDeepWise.ai）这次的一系列发布，还会有一个有意思的发现——他们和DeepSeek的部分思路体现出一致性。
DeepSeek带来的“国运级别的创新”，不论是V2、V3还是R1，或是最近新开源的NSA（稀疏注意力机制）、FlashMLA，都是在资源有限的前提下，提出的效率优化最佳方案。
而深思考人工智能（iDeepWise.ai）端侧模型这次和国产算力之间的匹配，也给国产端侧模型的进展提供了和DeepSeek理念类似的、国产突围思路。
“基于国产化和安全性考虑，一套跑在国产算力、操作系统上的端侧模型方案有着很大市场需求。”杨志明表示。
已经落地的花式场景和Case
在现场，深思考人工智能（iDeepWise.ai）展示了基于自家端侧模型的实际案例。我们看到，这次的端侧展示方案，不仅体现出多模态的效果，还覆盖了多个行业和场景。
在AI PC场景中，深思考的端侧多模态模型已经推出本地离线的多模态AI搜索（通自然语言说一句话或者语音来搜索图片、视频、文件的场景和语义），AI办公、情感交流的“Her模式”和本地端侧AI帮用户回忆的功能“AI Recall”功能。
AI办公模式里，深思考人工智能（iDeepWise.ai）的AI PC Suite能够在用户的日常工作中生成PPT、Word等文档。
在Her模式下，它还能基于AI对用户的认知进行深度交流，自动进行任务执行。并且，这个能与用户进行深度情感交流与对话的“Her”模式，也能落地在手机、机器人等终端上，提供个性化陪伴体验。
第三种AI Recall模式，能让用户通过自然语言搜索在PC上做过的任何事以及存储过的文件、视频、图片、浏览记录等资料。
杨志明补充告诉36氪，基于端侧模型的信息存储、检索能力目前是高频刚需。比如在PC和手机上检索图片，是很多用户的需求，而这种隐私信息需要保护，端侧模型是最稳妥的方案。
同样有需求，且对隐私性要求较高的场景还有AI医疗、AI玩具等。它们也是这家公司目前持续发力的方向。
深思考端侧大模型在人形机器人的的场景中得到完美应用，人形机器人具备语音对话、情绪识别与感知等多模态功能，在情感陪伴、养老、教育等领域有着巨大应用潜力。
36氪了解到，深思考人工智能（iDeepWise.ai）的端侧模型，在医疗方向已经推出了AI显微镜。这个集成了AI能力的显微镜，可以离线运行保证隐私，还能加载可拓展的AI分析模块。通过加密分析与扩展模块，显微镜能够直接提升病理检测的稳定性与效率。
值得一提的是，AI和医疗的结合是深思考人工智能（iDeepWise.ai）有着长期优势的方向。2018年，这家公司就发布了世界上首个医学影像专用AI处理器。针对“重疾早筛”这一垂直场景，它还完成了超10万例临床回顾性分析和验证，拥有百万级高质量数据。截至2024年，深思考人工智能（iDeepWise.ai）仅宫颈癌筛查量就超过了3000万人份。
这次重点发布的端侧模型TinyDongni，也具备深厚的医疗知识积累。它学习了1687万篇全球权威医学论文，可以精准地利用AI输出医学内容。
另外，深思考人工智能（iDeepWise.ai）还在布局智能汽车领域——端侧模型TinyDongni实现了融合手势、语音、图像、情感等多模态交互，可以实时端侧AI分析车内外场景。
深思考人工智能（iDeepWise.ai）这一套发布，不论是模型的训练还是量化，又或者是和操作系统、国产模组的适配，都是这家公司看到需求后，长期攻坚的结果。
“我们的AI布局，一切都是源于市场刚需，一切都是定位于规模化落地。”杨志明博士表示，在可见的未来，随着AI智能终端场景的爆发，AI会无处不在。
