不追制程、不靠HBM、不复制GPU,东方算芯首颗AI芯片有哪些新招数
Quick Answer
Oriental Computing has launched the DF1000, China's first software-defined 3D AI chip, focusing on inference efficiency with 520T BF16 performance and 6.4TB/s memory bandwidth.
Quick Take
Oriental Computing has launched the DF1000, China's first software-defined 3D AI chip, focusing on inference efficiency with 520T BF16 performance and 6.4TB/s memory bandwidth. This marks a shift from traditional GPU reliance, emphasizing a complete domestic AI ecosystem.
Key Points
- DF1000 supports both training and inference with a complete product matrix.
- The chip utilizes 3D DRAM technology, achieving five times the bandwidth of traditional HBM.
- Oriental Computing plans to release DF2000 in Q4 2023, doubling performance.
- The new architecture aims to improve resource utilization and reduce energy consumption.
- AI-specific data center energy consumption is projected to rise by 50% by 2025.
📖 Reader Mode
~2 min readAI算力仍在狂奔,但芯片的竞争维度却发生明显的分化。
过去几年,AI芯片的发展几乎遵循着同一条路径:更先进的制程、更大的GPU集群、更高的算力。
但推理时代的到来,开始改变这套游戏规则。模型不再只追求训练速度,更关注推理成本、Token吞吐和部署效率等指标。与此同时,能源、制造工艺和供应链的制约也在日益凸显。
当堆算力越来越难、提升效率成为新的竞争方向时,国产AI芯片是否还有另一种可能?
东方算芯试图给出自己的答案。7月举行的首届产品发布会上,东方算芯正式推出国内首颗采用软件定义近存计算3D AI芯片DF1000。
相比单颗芯片的参数,更值得关注的是它所完成的一系列工程验证:全国产供应链完成流片和制造,128卡集群在真实业务场景中稳定运行,全栈软件生态同步搭建。
一套从芯片到系统的国产AI算力方案,初步成型。
从“算得快”到“搬得快”,AI芯片的新范式
一边是持续膨胀的算力需求,另一边则是不断攀升的能源和资本投入。在香港工程院院士郑光廷看来,AI的发展正在受到物理世界的约束。
国际能源署(IEA)数据显示,AI专用数据中心的用电量在2025年增长了50%,远高于数据中心整体17%的增速。Gartner则预测,直至2030年,面向AI负载优化的服务器预计将占所有数据中心电力消耗的近一半。
基于此,郑光廷指出,未来真正稀缺的资源未必是算力,而可能是能源。如何在有限的能源和资源约束下,释放更多有效算力,已经成为整个AI产业共同面对的问题。
而解题的第一步,需要先厘清训练和推理真正消耗的是什么。
东方算芯副总裁郭炜从当前最火爆的应用Agent出发,指出AI智能体时代需要更聪明的模型和更低成本的应用,这意味着训练必须更高效、推理必须更便宜。
结合大模型训练流程,郭炜分析,占据训练计算量约70%的预训练,本质上属于计算密集型任务,因此芯片计算能力仍然是决定训练效率的核心指标。
而推理场景对芯片要求的逻辑与训练截然不同。当模型参数相对固定后,系统需要不断读取模型权重和KV Cache,再完成Token生成。这意味着,芯片竞争的重点正从“算得快”转向“搬得快”。
郭炜进一步解释,推理中的Decode阶段占据时间大头,其Token吞吐能力高度依赖访存带宽——计算单元与存储单元之间的数据传输。
当AI需求同时走向增长与分化,问题进一步延伸:训练时代的“王者”GPU,还能否适配这个更复杂的新周期?
对于国产GPU而言,供应链是必须直面的第一道坎。
从训练侧来看,计算能力的提升越来越依赖先进制程、更大的计算单元规模以及更高的晶体管密度。
郭炜坦言,目前国际领先芯片制造工艺已经进入3纳米,而国内能够获取的先进工艺仍以14纳米级为主,工艺代差直接限制了国产AI芯片的提升空间。
而推理侧的瓶颈则转向存储与互联。先进HBM决定了单卡存储带宽的上限,但其供应同样受限;与此同时,高速I/O接口的密度与性能也受到制造工艺的制约,进而影响卡间互联带宽。
但更本质的问题在于,传统GPU本身也未必是AI时代的最优解。
北京超弦存储器研究院执行副院长赵超指出,传统冯·诺依曼架构将处理器与存储器分离,在AI算力高度增长的当下,两者之间的数据交换效率已经越来越难跟上计算效率。
重新思考计算、存储与系统之间的关系成为必然选择。
也正因如此,东方算芯创始人、董事长兼CEO魏少军直言,当下国产芯片行业真正需要思考的已经不是简单复制既有GPU的发展路径,而是走出一条属于自己的道路——以架构自主、技术原创、生态自立和供应链安全可控,重新构建适合AI时代的芯片体系。
用软件定义硬件,重组计算、存储与封装
东方算芯给出了它的答案。
作为东方算芯首颗大算力AI芯片,DF1000同时面向训练与推理场景。在首次产品发布会上,东方算芯还基于DF1000芯片,推出了完整的产品矩阵,包含加速卡、超节点、服务器、智算集群以及软件栈。
其中,巅峯1000 AI加速卡单卡可实现520T BF16算力、6.4TB/s显存带宽,支持AFD分布式推理;拓域64超节点进一步扩大系统规模,可实现33P BF16算力,近900GB/s Scale up带宽;慧算集群则采用fullmesh多芯互联结构和全铜缆连接,面向更大规模算力部署;擎元100一体机则针对中小体量客户,提供预装模型、开箱即用的快速部署方案。
聚焦软件生态,东方算芯同步推出的CAAP软件栈覆盖编译器、算子库、集合通信库、分布式训练框架以及工具链,支持主流深度学习框架和开源模型生态。
支撑这一完整链条的核心,是东方算芯从成立之初就锚定的“软件定义芯片”路线。郭炜介绍,这一路径首先改变的是计算资源的组织方式。
在传统GPU中,大量计算资源的工作模式按照固定方式组织,资源浪费难以避免。而东方算芯选择采用粗粒度计算架构,通过数据流驱动不同计算单元协同工作,并结合任务空间并行和资源时分复用,让同一套硬件能够根据不同模型动态分配计算资源。在不增加芯片面积的情况下,整体资源利用率实现大幅提升。
面对存储墙,东方算芯选择近存计算路线,通过3D混合键合的技术手段将逻辑晶圆和存储晶圆直接堆叠,使计算与存储之间几乎“贴在一起”。
根据现场披露数据,相比传统HBM方案,3D DRAM能够提供数十倍TSV连接数量,使访存带宽达到同容量HBM的5倍以上;同时,还能够通过增加晶圆堆叠层数继续扩展显存容量。
这种3D堆叠带来的不仅是存储性能的提升,更释放了封装空间。省下的HBM封装面积和互联接口,被重新分配给计算单元与互联资源。
在郭炜看来,相比传统2.5D封装,在相同封装尺寸下,东方算芯选择的3.5D Plus能够同时获得更大的算力规模、更高的网络带宽和更强的互联能力,也为未来继续扩展芯片规模预留了空间。
基于这条路线,东方算芯已经明确“量产一代、研发一代、预研一代”的产品战略。郭炜透露,下一代DF2000预计在今年四季度发布,整体性能参数将在DF1000基础上实现翻倍提升;DF3000则计划于明年推出。
国产AI芯片的更多可能将被持续验证,而东方算芯的第一笔,已经落下。
雷峰网(公众号:雷峰网)
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
— Originally published at leiphone.com
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from 雷峰网芯片
See more →Token账单迷雾:当每百万Token多少钱变成「比价陷阱」
The rise of Token billing in AI has transformed costs into operational expenses, with prices varying significantly due to factors like model efficiency, energy costs, and contract terms. As companies shift from GPU hours to Token-based billing, understanding the hidden complexities behind Token pricing becomes crucial for effective budgeting.




