端侧算力竞赛爆发，聆思手握下一代AI终端落地关键筹码

智东西（公众号：zhidxcom）
作者 | 程茜
编辑 | 漠影

智东西7月21日报道，刚刚落幕的世界人工智能大会（WAIC 2026）上，掀起了一场终端智能硬件的集中爆发浪潮。

纵观整场大会，行业赛道最直观的转向清晰可见：AI赛道的焦点正在从扎堆云端超算集群、以参数规模和云端算力论高下，向手机、AI PC、人形机器人、智能座舱、全屋中控等泛终端硬件转移。

AI的落地形态也随之革新。它不再局限于网页、App里的静态对话窗口，而是开始进入具备感知、理解、交互和执行能力的真实设备，与物理世界连接得更紧密。

交互场景的变化，也决定了未来智能硬件的底层逻辑：它们不只是硬件终端，更会成为搭载本地AI能力的算力载体。

这也把产业竞争的关键分水岭，推向了更底层的位置——能否在低功耗、小型化、低成本约束下，实现高效、稳定、可规模化的大模型本地推理；能否搭建可适配多类终端场景的芯片平台。

虽然终端形态千变万化，但底层算力芯片是统一刚需。因此，具备端侧AI推理芯片自研能力、并能把芯片真正导入终端产品的厂商，才更有机会拿到这一轮端侧AI爆发的入场券。

透过这次WAIC集中爆发的端侧AI浪潮可以明确，未来AI产业发展的核心，正在从云端能力展示走向端侧场景落地，从软件体验竞争进一步走向芯片底座竞争。端侧AI芯片，将成为串联全品类物理智能终端、支撑全域智能化落地的关键基础设施。

这也是聆思科技在WAIC 2026后值得被重新观察的原因。

作为一家长期深耕端侧AI芯片的企业，聆思计划于今年年底发布Nebula系列端侧大模型AI推理芯片，瞄准的正是这一轮终端智能硬件爆发背后的底层算力需求。

在WAIC大会上，端侧AI的爆发趋势已然成为行业共识，这场由终端场景驱动的算力革命，正倒逼芯片产业迎来变革。变革直指一个关键问题：端侧大模型发展到今天，传统芯片路线为什么不够用了？

答案就藏在端侧AI的应用进阶与场景刚需之中。

当前，端侧大模型的发展已从最初“能不能跑”的可行性验证，正式迈入“能不能实时、稳定、低功耗地跑”的实用性落地阶段。

这不仅是技术层面的升级，更是终端场景的需求迭代。AI PC、机器人、智能座舱、全屋智能等端侧场景，AI的需求远非简单将大模型移植到设备中就能满足，而是需要芯片支撑起持续运行、多模态交互、低时延响应、低功耗消耗的本地推理能力。

这是对芯片的全方位考验。

要理解传统芯片路线的困境，首先要认清真实终端场景的约束。

不可否认，云端AI具备强大的算力储备，能够支撑大规模模型训练与复杂运算。但在终端物理场景中，时延、联网稳定性、数据隐私、带宽成本以及并发调用压力，都是绕不开的硬伤。

尤其是机器人、智能座舱、家庭中控这类直面物理世界的入口，大量安全与控制类关键决策必须实现毫秒级响应、实时落地，无法长期依赖云端网络交互。一旦出现网络延迟或中断，就可能影响体验，甚至带来安全风险。

这种现实需求，直接放大了端侧本地推理的应用价值，也让传统芯片路线的短板暴露出来。

以往，端侧芯片竞争往往集中在峰值算力参数上，却容易忽略真实终端场景的核心诉求。但随着端侧大模型进入规模化落地阶段，行业竞争逻辑已经发生转变：从以往单纯的TOPS峰值算力竞争，转向全维度的系统效率竞争。

这一评判标准的变化，也让端侧大模型芯片的竞争本质愈发清晰：表面上看是算力的比拼，实则是面向Transformer推理数据流的系统架构竞争。

具体而言，真正决定芯片实用性的，是一系列综合指标：实际tokens/s处理速度、首token延迟、运行功耗、内存带宽、模型兼容性、板级面积、BOM成本以及配套的软件工具链。

这些指标，恰恰是传统端侧AI芯片的短板所在。

过去的端侧AI芯片，在设计之初主要面向语音唤醒、图像识别、目标检测等任务，更多服务于CNN、RNN等传统模型。它们跑传统感知任务可以胜任，但面对Transformer类生成式大模型时，就容易在推理时延、带宽、功耗控制等方面出现局限，难以兼顾综合体系的平衡。

聆思科技市场副总裁韩超阳在WAIC 2026期间提到，当下端侧大模型AI推理的最大瓶颈在于，市面上专为大模型推理算法原生设计的端侧AI芯片仍然稀缺。

▲聆思科技市场副总裁韩超阳

专用端侧大模型AI推理芯片的技术路线，背后横亘着极高的技术门槛。芯片厂商不仅要实现大模型、算法、硬件架构的深度协同，还需要完成长期跨领域技术积累。

只有深度吃透大模型架构与底层算法特征、围绕大模型开展原生设计的端侧推理芯片，才可能真正匹配端侧模型部署，在算力利用率、内存带宽、功耗控制、硬件成本、推理时延以及系统体积等多个维度达成综合最优。

二、首款原生端侧推理芯片年底亮相，面向真实场景优化四大硬指标

可行路线明确了，下一道摆在眼前的关键行业议题就是：适配大模型的专用端侧大模型AI推理芯片，究竟应该具备怎样的特质？

Transformer架构下，大模型推理并不是一个稳定均匀的计算过程。Prefill阶段需要批量处理输入，算力需求集中；Decode生成阶段逐字输出、算力需求零散。这两段推理任务的资源需求差异大，整个推理流程并非均匀稳定的计算负载，算力、访存压力会出现剧烈波动。

这就带来第一个问题：算力利用率。

如果芯片只追求纸面峰值算力，却不能适配大模型推理的动态负载，计算单元就会等待数据，硬件资源就会闲置。最后落到终端体验上，就是响应慢、发热高、续航差。

聆思计划今年年底发布的Nebula系列芯片，首先瞄准的就是这一问题。

按照聆思方面披露，Nebula不是简单放大传统NPU，而是面向Transformer类大模型推理原生设计AI NPU，从大模型算法特性反向定义计算架构，让芯片更适配端侧推理负载。基于这一设计，Nebula系列芯片预计可实现10倍计算加速性能提升，推理速度超过100 tokens/s。

100 tokens/s的意义，不只是参数好看。

在AI PC、机器人、智能座舱这些场景里，端侧大模型要进入真实交互，就必须做到低延迟、连续生成和稳定响应。如果推理速度不够，终端大模型就很容易停留在“能跑”，而不是“好用”。

第二个问题，是内存带宽。

大模型推理不是只要算得快就行。模型参数、中间状态、上下文信息都要反复读取和搬运，如果数据供给跟不上，算力再高也会被卡住。尤其在逐token生成阶段，内存带宽会直接影响生成速度和能效表现。

云端可以用HBM和多卡系统解决带宽问题，但终端设备不能无限堆内存、堆板卡、堆散热。因此，端侧大模型芯片必须在有限封装体积内解决带宽问题。

Nebula的技术路径是3D-DRAM堆叠。韩超阳透露，基于这一方案，芯片内存带宽可以达到传统LPDDR的5-10倍。

这背后对应的是端侧芯片架构的一次变化：不能再沿用传统“计算芯片+外挂内存”的粗放思路，而要尽可能缩短存储和计算之间的数据通路。带宽提升后，芯片才能减少因访存不足造成的算力闲置，在更小体积内支撑更大参数规模的模型运行

第三个问题，是不同终端对模型规模的需求并不一致。

AI PC、机器人、智能座舱、智慧家庭，不会使用同一种参数规模、同一种响应速度、同一种功耗预算的模型。端侧大模型芯片如果只能适配单一规格，就很难支撑多场景规模化落地。

聆思方面预计，Nebula系列芯片可实现10倍模型参数规模支持。同时，其芯片设计支持搭配不同容量堆叠内存，以适配不同规格大小的模型加载需求；在更高算力需求场景中，也可通过芯片级联技术实现算力弹性扩展。

第四个问题，是工程化落地。

终端设备内部空间有限，多芯片组合会增加板卡面积、散热压力和系统成本，也会拉长客户开发周期。端侧大模型芯片能不能规模化，不仅取决于单点性能，也取决于工具链、SDK、参考设计和模型适配能力。

因此，Nebula不只是硬件芯片，也会配套工具链、SDK和参考设计，帮助客户完成模型移植和适配，降低端侧大模型从样机走向量产的门槛。

从这个角度看，Nebula的关键不只是10倍加速、100 tokens/s或5-10倍内存带宽，而是这些参数背后对应的行业变化：端侧大模型芯片的竞争，正在从纸面算力竞争，转向有效算力、存储架构、模型适配和工程落地能力的综合竞争。

三、从语音、视觉到大模型，聆思的端侧路径不是突然转向

技术路线对了，还要看谁能真正把芯片做进终端。

端侧大模型推理芯片不是实验室生意。它最终要进入AI PC、机器人、智能座舱、智慧家庭这些产品，面对的是成本、功耗、体积、稳定性、交付周期和客户适配能力。

这恰恰是聆思过去几年一直在做的事。

先看出货量。聆思累计芯片出货量已经超过亿颗级别，在端侧NPU芯片行业，能跑到这个量级的公司并不多。

再看它跑出来的场景，有语音、视觉两个方向。

第一是语音方向，核心是让设备“听懂人话”。这是聆思最早站稳的赛道，在蓝牙交互领域，快速进入了海尔、美的等白电龙头的供应链。

单价不高但出货体量大的家电行业，但在成本、功耗、可靠性与供货交付上标准颇高，因此，能长期立足家电市场、站稳脚跟，恰恰证明了聆思能造芯片，还能做出适配行业、可大规模交付的成熟产品。

第二是视觉方向，聆思选择的是把视觉AI能力带到教育硬件、消费电子、智能家居等新兴终端场景，这也成为其近几年成果打造的第二增长曲线。

通过聆思的方案，本地视觉AI能力进入了扫读笔、手持云台、运动相机、智能门锁、扫地机等设备后，能实现离线人脸识别、手势控制、人体追踪等。与语音方向类似，聆思的应用方案进入了这一赛道多家头部品牌。

▲聆思科技合作伙伴

时至今日，Nebula要做的，是在前面的布局上再往前走一步：让终端设备具备本地理解和推理能力。

值得注意的是，端侧感知模型推理芯片与认知大模型推理芯片并不是替代关系，而是协同发展关系。

韩超阳认为，未来端侧小模型推理与端侧大模型推理将相辅相成：小模型感知芯片负责低功耗实时感知和前置信号处理，大模型认知芯片则承担复杂语义理解、内容生成和推理决策等高阶任务，二者共同支撑端侧AI体验升级。

这也让聆思的路径更清晰。

过去语音和视觉芯片解决的是终端设备的感知入口，Nebula面向的是感知之后的理解、生成和推理。它不是对既有产品线的替代，而是在原有端侧AI能力基础上的升级和延展。

围绕AI PC、机器人、智慧家庭、智能座舱四大方向，聆思科技目前已联合联想、聆动机器人、海尔、美的、面壁等企业启动联合预研，推动端侧大模型AI推理芯片在真实终端场景中的产业化落地。

这条路径和聆思过去的发展逻辑是一致的：不是先做一颗参数看起来很强的芯片，再去找应用，而是从真实终端需求出发，围绕客户场景倒推芯片架构、工具链和产品形态。

从语音到视觉，再到端侧大模型推理，聆思的能力边界正在从感知智能延伸到认知智能。

结语：不止一颗端侧芯片！端侧AI浪潮到来，聆思锚定AI物理世界入口

这届规模空前的WAIC上，端侧智能已然成为贯穿所有展馆的主旋律之一：人形机器人自主完成多模态任务、智能座舱离线流畅跑通轻量级大模型、AI PC本地实时生成图文、全屋中控脱离云端自主感知调度……

展台前络绎不绝的观众直观印证端侧大模型已是AI终端不可逆的升级方向，而高性能端侧大模型AI推理芯片，正是通用人工智能走进物理世界不可或缺的底层基石。

▲图片由AI生成

这一背景下，聆思科技的目标清晰，其不止打造一款端侧大模型AI推理芯片，而是要搭建面向智能设备时代完整的端侧大模型推理基础设施。

通用人工智能想要真正走出实验室、走进现实物理世界，不能只靠云端算力兜底，依托完整端侧推理基础设施实现本地自主智能，才是打通落地的最后一公里。