根据中国
电子报报道，在博览会上，记者看到了这样一幕：在笔记本
电脑未联网的情况下，输入 “给我生成一份审讯盗窃案件的笔录提纲” 指令，DeepSeek 16B（160 亿参数版）在瞬间生成了一份内容详尽的笔录提纲，涵盖基本信息、案件概述等多个标题，且每个标题下还有 3 - 5 个二级标题。这意味着，160 亿参数的 DeepSeek 大模型完全基于一枚嵌入在名片大小处理板的单芯片运行。
联网的大模型虽能借助云端算力实现更强大功能，但对计算、存储成本和网络条件要求较高。而在城市感知、智能制造等众多行业场景中，大量成本低、硬件配置简单的终端和边缘设备，如
摄像头、边缘盒子等，若能基于嵌入式芯片调用大模型能力，将对企业和行业的数智化升级起到关键作用。此外，在涉及用户个人信息采集的机器人场景中，嵌入式芯片搭配离线语言大模型，可在保证交互的同时保护用户数据安全。
嵌入式芯片运行离线大模型的技术突破 中星微智能研发中心总工程师周学武表示，嵌入式芯片与云端芯片设计思路不同。云端芯片追求大算力，而前端嵌入式芯片需考虑能耗、发热和成本等诸多制约因素。目前，嵌入式芯片通常承载 70 亿参数规模的大模型，而中星微展示的 “星光智能五号” 嵌入式 AI 芯片，能够运行 160 亿参数版本的 DeepSeek 大模型。
为了让嵌入式芯片高效处理多模态信息，中星微团队采用了多核异构的芯片架构，包括
CPU、GPU、NPU 等，分别对应不同的算力类型，还有用于视频编解码的 VPU、信息加解密的 ECU 以及多核调度单元 HCP。这种架构模拟了大脑兼具形象思维和逻辑思维的特点，将 “直觉式” 的端到端计算和 “常识式” 计算融合，可实现更高精度的识别，还能纠正大模型可能产生的幻觉。
HCP 系统也是提升芯片运行大模型能力的关键设计，它能调动芯片中的 20 多个核心，并根据用户需求采用不同策略调度算力，以在有限条件下实现性能。基于嵌入式芯片，终端可在不联网的情况下使用离线大模型，满足对信息安全要求较高的场景以及涉及用户个人数据的场景需求。周学武认为，未来 5 到 10 年，大量机器人将应用嵌入式芯片，这能保护用户数据并提升交互实时性。
用 2KB 标签检索几万路摄像头的高效应用 在行业场景中，摄像头、工控盒子等端、边侧终端具有部署体量大、成本敏感等特点。要让这些终端用上大模型，需要轻量化、易部署的芯片以及优化算法和数据链路。
在中星微展台，连接笔记本电脑的摄像头展示了高效的检索功能。在笔记本电脑搜索 “戴安全帽的工人”，
显示屏立刻出现两天前展台搭建时的施工画面。这一过程通过端、边、云协同完成，端侧和边侧部署了中星微的嵌入式芯片以及将视频 “切” 成图片再打标签的算法。
具体而言，对于摄像头的视频，先抽取关键帧做成图片，再提取图片关键点形成包含索引信息和特征向量的标签。1G 的视频可抽取 2M 的关键帧图片，再提取出 2KB 的标签。检索时，端侧和边缘侧终端在 KB 级的数据中搜索，显著提升了搜索和解析效率，搜索结果会发送给云端大模型核实比对。周学武表示，在这一过程中，大模型不断训练学习，检索结果会越来越准确，更贴合用户多样化的检索需求。
综上所述，中星微的这项技术展示了小芯片搭载大模型在多行业的应用潜力，为行业的数智化发展提供了新的思路和解决方案。
