1792TOPS算力！国产AI芯片暴降token成本，CEO揭秘4大技术诀窍

芯东西（公众号：aichip001）
作者 |  ZeR0
编辑 |  漠影

芯东西7月10日报道，近日，杭州AI芯片公司中昊芯英发布第二代全自研高性能TPU芯片须臾，混合精度浮点算力达896TFLOPS，性能是上一代刹那芯片的3倍，8-bit推理算力达1792TOPS，额定功耗600W，相比算力性能持平的传统算力芯片，功耗降低50%，执行同等AI任务时综合计算效能可达传统GPU架构的数倍。

在集群部署层面，搭载须臾芯片的智算平台泰则2.0，通过自研的低延迟高并行片间通讯协议，单个超节点可实现2048片须臾芯片直联，并可拓展搭建万卡超大规模集群，承载万亿参数大模型分布式训练、多智能体协同运算、全平台海量token并发推理等重负载业务。

围绕最新发布的须臾TPU芯片，中昊芯英创始人兼CEO杨龚轶凡与芯东西等媒体进行深入交流，分享了更多技术细节和产业思考。

中昊芯英成立于2018年，是国内最早投身于TPU架构AI专用算力芯片研发的企业之一。杨龚轶凡回顾说，从创业之初，中昊芯英就确立了“把TPU架构做成AI界的x86”的目标，希望推动TPU成为AI领域通用底层架构，对标CPU领域x86架构，打造全行业通用AI计算标准。

他告诉芯东西，中昊芯英的产品系列命名“刹那”、“须臾”取自中国传统时间计量单位，希望打造融合中国传统文化与前沿半导体科技的企业文化。须臾芯片已完成基础数据测试，完整软件适配正在推进，整体性能对标海外先进的GPU与TPU，表现不落下风。

目前中昊芯英已完成MiniMax、智谱等国产主流大模型适配，在现阶段多个落地场景中，单位美元token产出性价比超过海外头部GPU，单位token成本数据在国内同类芯片中具备领先优势，未来会推进芯片与模型厂商深度芯模联动和调优，进一步提升性价比。

据杨龚轶凡透露，中昊芯英会提前根据业务预判锁单备货，二代芯片须臾早已进入量产阶段，已有批量产品完成交付。

须臾的PPA核心是平衡性能+芯片面积，不以功耗为首要优化目标，设计目标是大幅压低单位token成本，从一代到二代直接减半，后续迭代有望降到原有的1/10。

“优先拉高算力、降低单百万token硬件采购成本，对商业化落地的价值远高于单纯降功耗。”杨龚轶凡说。

他谈到当前行业GPU整机采购成本占三年综合运营成本70%-80%，能耗仅占20%，而中昊芯英的TPU产品采购与能耗成本比例约7:3，可将芯片性能提升1.5-2倍，能耗又可降低20%-30%，因此更具市场竞争力。

现阶段，中昊芯英侧重国内市场，研发优先级是先解决智能体落地痛点，再推进超大模型训练、视频算力、万卡超大规模集群等中长期目标。

一、三大维度定制优化TPU：计算流水线、片间互连、PD分离架构

杨龚轶凡谈道，须臾芯片专门针对长上下文做底层架构适配，目标原生稳定支撑百万token完整上下文。从客户内测反馈来看，其整机综合性能实现3倍以上提升，同时芯片售价仅小幅上调，百万token推理性价比实现2倍以上提升。

据他分享，相比上一代刹那芯片，须臾芯片在通信、存储、计算三大维度做了TPU专属定制优化，所有创新设计逻辑仅适配张量脉动架构。

（1）计算流水线优化：传统矩阵乘加计算会存在大量等待空泡（Bubble），前序计算未完成、后序流程只能闲置。须臾芯片重构全链路计算流，针对多批次矩阵并行乘加做深度优化，通过调整参数、特征数据流调度逻辑，大幅降低产生空泡的场景条件，实现多阶段并行无等待执行，消除绝大多数数据依赖造成的空泡，单计算单元硬件利用率大幅提升。

（2）片间互连通信升级：优化芯片之间、芯片与主机之间传输链路，降低通信延迟、拓宽有效带宽；对比一代，片间传输效率显著提升，综合算力实现3倍增长。

（3）存储体系扩容与重构：从硬件层面缓解存储墙压力，在软件栈原生支持Prefill-Decode（PD）分离推理架构。芯片KV Cache缓存命中率、重复计算削减能力作为核心指标，是二代芯片PD分离架构的重点优化方向。芯片底层配套专用硬件加速单元，当海量输入token流入时，大幅提升KV Cache缓存命中率；缓存命中后可重复复用历史计算结果，省去重复矩阵运算，进一步压低整体算力开销，拉升并发吞吐。

杨龚轶凡解释说，TPU天生面向大模型矩阵乘加、Attention算子做数据流优化，数据复用率远高于通用GPU，重复内存读写开销大幅削减，同等算力输出仅消耗80%的功耗，这是整机能效领先的核心根源。

他进一步拆解了中昊芯英TPU和通用GPU优化思路的区别：GPU迭代会优先调整时钟频率、晶体管密度、低功耗器件（ULVT）做功耗平衡；而TPU还有海量未挖掘架构创新空间，现阶段中昊芯英优先堆算力特性，将功耗优化放在次要位置，即便二代须臾芯片选用高功耗ULVT晶体管，TPU原生张量计算架构的先天能效依旧优于GPU，不用像GPU一样耗费大量研发资源反复权衡功耗、面积、性能三者平衡，研发与流片成本更低。

等未来TPU架构创新空间挖掘充分后，中昊芯英才会精细化做PPA功耗面积平衡调优。

先进封装方面，中昊芯英从第一代刹那TPU芯片起就完整落地了Chiplet芯粒架构。杨龚轶凡称，其整套Chiplet集成方案的复杂程度“远高于同行业”，完整走完落地验证路径，也为国内TPU产业沉淀了整套自主工程化知识体系。

“如果没有我们初代产品率先打通这套高难度芯粒分层集成路线、落地量产验证，国内TPU整体产业化研发、落地进度会大幅滞后，”他谈道，“我们在多裸片先进封装、多芯粒协同领域的工程实践，为国内专用算力芯片行业提供了完整可复用的技术参考。”

二、拆解智能体AI芯片四大升级路径，TPU将放大性价比优势

针对智能体任务需求，杨龚轶凡总结了AI芯片的四大重点优化方向：

（1）PD分离专用硬件架构：推理场景下预填充、解码计算逻辑差异极大，未来会推出专用细分芯片分别承载两类计算任务，分开优化后整体性价比能大幅提升，这是通用GPU架构很难灵活实现的设计思路。中昊芯英已完成PD分离硬件适配，可实现1颗Prefill芯片搭配1-2颗Decode芯片协同工作。

（2）超大模型分布式集群互联优化：当前商用智能体模型参数普遍达到600B、800B级别，参数规模不足就无法覆盖复杂商业场景。单颗芯片算力上限固定，想要支撑超大模型需要搭建千卡、万卡甚至十万卡分布式集群，芯片间高速互连、低延迟通信会成为持续迭代重点。

（3）低精度推理硬件原生加速：传统计算普遍采用FP32精度，未来推理场景会大规模普及FP8、FP4低精度计算，TPU架构会配套专属计算单元适配低精度运算，进一步压缩算力开销。但低精度计算对存储带宽要求极高，普通DDR、LPDDR带宽无法匹配，必须配套高带宽存储方案。

（4）超大片上存储架构设计：超大片上内存能够大幅提升KV Cache缓存命中率，高效释放存储带宽。中昊芯英TPU片内存储容量对比通用GPU有量级优势，差距接近数倍，未来会进一步拉开差距。

在杨龚轶凡看来，经过长期迭代，GPU存储、计算配比已固化，相关硬件架构、软件栈的优化空间基本被挖掘殆尽，后续行业升级基本只依托先进制程、新型存储、新型半导体器件做微小调整，底层核心架构很难再做颠覆性革新。

同时，完整CUDA软件生态已成为GPU厂商最坚固的护城河，也是全行业切换技术路线最大的门槛，后来者很难实现弯道超车。

这也是为什么中昊芯英自成立起就选择布局TPU赛道。

杨龚轶凡解释说，TPU架构天生面向大模型高并发张量计算做深度定制优化，在同等制程、同等硬件成本前提下，运行主流深度学习模型时，综合性能可达通用GPU的3-5倍，如果再结合针对特定模型网络的专属算子调优，性价比优势会进一步放大。

作为新兴专用张量架构，当前TPU仍有大量待挖掘的技术空白，硬件架构高度依赖产品流片、量产迭代来验证创新思路，硬件优化空间充足。中昊芯英计划在每一代芯片迭代中新增专属硬件特性，持续拉升算力与能效。

杨龚轶凡相信，只要AI产业持续扩张、Transformer与Attention算子仍是大模型底层核心计算单元，那么TPU架构的行业价值就会持续放大，相比通用GPU拥有更大的性能、性价比提升想象空间，这也是当下推理、智能体爆发阶段TPU差异化壁垒不断凸显的核心根源。

配合PD分离架构落地后，TPU的性价比优势还会进一步放大。

虽然专用TPU的开发适配流程更为繁琐，但杨龚轶凡判断，只要长期综合性价比更高，企业大多都愿意选用，这给TPU赛道打开了巨大成长空间。

三、软件生态，国产算力芯片厂商的共同痛点

杨龚轶凡认为，完整软件生态是当前国产AI芯片产业面临的最大瓶颈。

芯片硬件流片量产周期可控，但配套算子库、开发工具、模型适配全链条搭建需要3-5年甚至更久打磨。

现阶段大模型、智能体商业化落地会在一定程度上降低生态适配门槛，但想要从“芯片可用”进阶到“好用、低成本”，持续优化算力性价比，仍是国内自研芯片厂商长期核心攻坚难点。

通用GPU拥有二十年积累的成熟软件生态，而中昊芯英TPU软件栈搭建周期仅一年半，差距客观存在，仍有很长的优化之路要走。

在落地过程中，中昊芯英发现软件生态搭建难度远高于硬件集群搭建，完整软件栈、算子适配、工具链打磨需要海量自有算力持续迭代。该公司正在通过各类创新手段持续优化，逐步缩小差距。

杨龚轶凡相信，在行业进入大规模商业化落地阶段后，客户决策核心会回归单位token性价比。“国内芯片厂商不需要像英伟达一样对全球所有模型做到很好适配，只需把国内几十家主流大模型厂商的产品做深度专属调优，就能在本土场景实现显著成本优势。”

他强调中昊芯英不会打造封闭独立软件生态，将坚持全面拥抱开源，兼容全球主流开发平台，力求最大限度降低企业适配负担。

算力成本对AI商业化落地至关重要。进入批量落地、持续对外提供服务的商业化阶段，企业首要诉求会转变为控制算力成本。杨龚轶凡称，深度芯模协同、持续降低训练与推理成本会是中昊芯英中长期核心合作方向。

面对上游供应链涨价、产能紧缺等行业冲击，他透露中昊芯英会从芯片研发、产品设计、供应链管理、运营模式、财务统筹等多维度探索创新解法，降低客户长期token算力使用成本。

其具体应对策略包括通过芯片架构升级提升性能、用高规格物料长期摊薄综合成本、通过提前备货平抑原材料价格波动等。

对于未来token价格变化，杨龚轶凡预测高时效复杂任务Fast Token定价将持续走高，而离线批量推理任务Slow token依托芯片架构优化、规模化集群摊薄成本，价格会不断走低。

“长远来看，大模型甚至可以自主完成软件迁移、算子开发等工程工作，进一步降低企业人力与算力双重开支。”杨龚轶凡说。