HBF/SSD替代HBM做显存，九天睿芯实现单卡跑万亿参数模型
Quick Answer
Jiutian Ruixin has developed a novel inference deployment solution using HBF/SSD instead of HBM, achieving approximately 20 TPS with the DeepSeek-V4 model on a single card with four SSDs.
Quick Take
This approach redefines deployment as a data placement and scheduling challenge, enabling efficient use of trillion-parameter models without the need for extensive GPU clusters.
Key Points
- Achieved ~20 TPS with DeepSeek-V4 using single card and four SSDs.
- Redefined deployment as data placement and scheduling, improving efficiency.
- First domestic company to develop trillion-parameter AI inference chip with HBF.
- HBF aims to enhance bandwidth and capacity for future AI models.
- Potential for direct deployment of large models in limited-resource environments.
DeepSignal Analysis
What happened
Jiutian Ruixin has introduced a new inference deployment solution that utilizes HBF/SSD instead of HBM, achieving around 20 TPS with the DeepSeek-V4 model on a single card with four SSDs. This method redefines deployment as a data placement and scheduling challenge, allowing for efficient use of trillion-parameter models without needing extensive GPU clusters.
Key evidence
- Jiutian Ruixin's solution allows the DeepSeek-V4 model to achieve approximately 20 TPS during the decode phase using a single card and four SSDs.
- The company has developed a chip that integrates HBF and SRAM for AI inference, making it the first in China to pursue this technology route.
- The proposed system organizes storage hierarchically, with SSDs serving as a large capacity pool for less active expert weights, while DRAM and caches manage prefetching and temporary storage.
Why it matters
The increasing size of AI models poses significant challenges for deployment, particularly due to the high costs and limited availability of HBM. Jiutian Ruixin's approach offers a potential solution by utilizing SSDs for storage, which could lower the barriers for companies looking to deploy large models locally. This shift could enable more efficient resource utilization and reduce the complexity associated with traditional GPU clusters.
📖 Reader Mode
~2 min read
芯东西（公众号：aichip001）
作者 | 陈骏达
编辑 | 心缘
芯东西8月5日报道，近日，深圳存算一体AI芯片创企九天睿芯发布了一套面向超大MoE模型的推理部署方案。该方案在“单卡+4 SSD”的配置下，让DeepSeek-V4在decode阶段的速度跑到了约20 TPS，具备了真正可用的吞吐量。
更重要的是，九天睿芯已于去年携手关键存储合作伙伴，共同研发基于HBF和SRAM存算一体堆叠的万亿参数AI推理芯片，是国内首家布局这一技术路线的企业。
▲九天睿芯打造的推理方案
一、显存装不下万亿模型？把部署变成数据放置和调度问题
如今，大模型的参数规模正迅速膨胀，Kimi K3、DeepSeek V4 Pro这类新一代超大MoE模型，总参数量已经冲到万亿量级，对绝大多数想在本地用上大模型的企业来说，如何低门槛、高效率地用上这些超大模型，成为横在落地面前的一道现实难题。
行业对上述问题的默认解法是增加计算卡数量，并辅以张量并行、专家并行、高速互联等技术，打造计算集群。这类方案的性能优异，但也带来新的问题。
算力集群是一个复杂的系统工程，涉及拓扑、通信、负载均衡、故障域等多个层面，任何一张卡或一条链路的异常，都可能放大成整套服务的抖动。对需要自行部署的企业来说，其中的工程挑战不言而喻。
当前主流的MoE模型架构给业界提供了一个突破口。MoE模型的特征是总参数量较大，但每个token所激活的始终是少数专家。
于是，业界开始思考，既然计算只需要少数专家，就不一定需要让全部专家都长期存储在价格昂贵、容量有限的显存里。
九天睿芯的思路，是把部署问题重新定义为一个数据放置和调度问题。
具体来说，整套系统对存储做了分层：显存留给正在计算和高概率即将计算的专家；DRAM和近端缓存负责预取、短期驻留和回退缓冲；SSD作为大容量专家池，存放暂时不活跃、随时可能被调用的专家权重；一套预测调度系统，则负责把下一批可能用到的专家提前送到计算附近。
九天睿芯强调，这套方案不是“拿SSD替代显存”，显存仍然承担着关键计算窗口。同时，专家也不会被永久贴上“热”或“冷”的标签。调度系统可以按专家粒度持续跟踪访问热度，动态调整数据位置，跟着路由分布走，而不是一次性静态切分。
要实现这样的切分，难点在于对MoE推理时序约束的把控。MoE模型推理时，下一层要哪些专家，通常需要得等上一层算完、路由结果出来才知道。如果每次都等确定了再去读取，就难免会产生算力空转的现象。
九天睿芯为此打造了一套专家级预测式调度系统。根据当前状态和历史路由信息，系统可以提前生成候选专家集合并发起预取，如果预测落空，系统就就同步取数兜底，保证计算结果正确。
系统中多块SSD被组织成并行资源池，尽量让读取与计算重叠推进。理想状态下，当前层还在算，下一层的候选专家已经并行读出，SSD的延迟被计算时间遮蔽。
候选集的选定同样有取舍。候选集过小，容易漏掉真正需要的专家；候选集过大，又会占用带宽和缓存，把无效数据提前搬进来。调度器要在命中率、覆盖率、搬运代价和缓存空间之间动态取舍，面向最终能兑现的token吞吐进行优化。
九天睿芯也与RWKV社区开展了技术交流与协同，在专家预测、推理基础设施优化等方向共同探索更高效的大模型运行机制。正推动超大参数模型从软件架构到硬件系统的协同进展。
二、单卡跑出约20 TPS，算力交付单位变了
在这条路径上，九天睿芯已经把DeepSeek-V4-Flash推进到单卡+4 SSD、decode速度约20 TPS。这套方案的价值在于，它证明了单卡、多盘和专家预测能够组成一条持续供数的工程路径，支撑大型MoE实现真正可用的部署。
九天睿芯称，他们强调decode环节，是因为生成阶段具有逐token依赖特点：前一个token产生后，后一个才能推进，任何一次专家缺失或I/O等待都会直接形成气泡。相比可以并行吞吐的prefill环节，decode最能暴露内存访问与调度是否稳定。
约20 TPS的速度，说明这套系统能让专家供给持续跟上生成节奏，具备一定的可用性。
这套方案还改变了算力的交付单位。原本要先筹备一个小集群的模型，现在可以从一台机器起步。工厂、园区、政务、本地一体机这些看重数据不出域、机房条件有限的场景，开始具备直接部署超大模型的可能，如果需求进一步增加，只需通过增加实例或扩展资源池就可以提高服务能力。
三、九天睿芯在研HBF与SRAM存算一体堆叠，更可几十倍速度支持单卡跑万亿级别模型
更长远看，九天睿芯方案中的单卡+多SSD配置，只是当前可交付的工程验证平台。行业正在为这条路线准备更好的介质，即HBF（高带宽闪存）。
今年2月，闪迪与SK海力士在OCP（开放计算项目）下启动HBF联合标准化，闪迪公布的规划显示，其第一代HBF路线目标为单个16层堆叠512GB、读取带宽1.6TB/s；第二代和第三代的规划分别超过2TB/s和3.2TB/s，容量提升至1TB和1.5TB。
与此同时，铠侠、英伟达也在推动闪存靠近计算。铠侠已验证5TB、64GB/s、功耗低于40W的高带宽Flash模块原型；英伟达的BlueField-4／CMX则把以太网连接的Flash设计成Pod级上下文存储层，用于承接和复用KV Cache。
在刚刚结束的FMS 2026峰会上，SK海力士与闪迪共同推出了全球首个HBF规范标准，谷歌（Google）与Tenstorrent已作为成员加入HBF联盟。据悉，九天睿芯在研的芯片将高带宽闪存作为主要模型权重和KV cache存放介质，是国内第一家走此路径的AI芯片公司。
这个跨层级推理方案并不等同于HBF，却共同说明一件事：闪存正在从“存放文件的后端”，进入模型权重、专家数据和上下文数据的推理路径。
结语：分层存储成超大模型落地现实路径
大模型推理的需求正在迅速增长，但HBM价格高企、产能紧张，超大模型的部署成本中，相当一部分实际上是在为“显存”买单。分层存储，有望成为超大模型落地的一条现实路径。
而九天睿芯在多SSD上验证的专家切分、热度统计、候选生成、预取回退等调度能力，并不绑定特定介质。未来即便存储介质升级换代，这套系统积累下的调度能力，依然可以复用。
九天睿芯在研基于HBF和SRAM存算一体AI 计算die 3D堆叠的芯片在这个基于SSD替代HBM做显存的方案基础上，把带宽和TPS提高10倍以上，单卡显存容量可达4TB，带宽数TB/s。
— Originally published at zhidx.com
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from WebSearch (Tavily)
See more →全球AI芯片峰会，9月上海见！
The 2026 Global AI Chip Summit will take place in Shanghai on September 22-23, focusing on the evolving AI chip landscape, including the shift from training to inference, the rise of diverse chip technologies, and the restructuring of industry competition. Notable speakers include experts from leading universities and companies, discussing advancements in AI chip architecture and applications.
