
KV Cache需求暴涨32倍,AI如何重写存储产业链的「旧分工」?| MemoryS 2026观察
Quick Answer
The demand for KV Cache has surged 32 times, prompting a fundamental shift in the storage industry as it transitions from data storage to compute storage, directly impacting GPU efficiency and token generation costs.
Quick Take
The demand for KV Cache has surged 32 times, prompting a fundamental shift in the storage industry as it transitions from data storage to compute storage, directly impacting GPU efficiency and token generation costs. Companies like慧荣科技 are evolving their roles, moving towards dynamic performance management to meet AI workload requirements.
Key Points
- KV Cache's latency now directly affects token generation rates in AI models.
- SSD's role has evolved to constrain inference throughput limits in AI applications.
- Storage manufacturers are redefining their roles, moving towards system-level solutions.
- AI-driven demands exceed traditional storage capabilities, pushing for customization.
- End-device AI is reshaping storage architecture, requiring high capacity and speed.
Article Content
From source RSS / original summary作者 | 杨依婷编辑 | 包永刚去年的CFMS|MemoryS峰会上,存储厂商们讨论的是:价格何时企稳、QLC何时上量、AI PC何时落地。 彼时,“AI会让存储变得更基础、更关键”,还更像是一种行业判断,一种面向未来的趋势预演。 一年之后,站在MemoryS 2026的会场里,问题已经彻底变了。 人们谈论的不再只是位元成本、颗粒供给和容量节奏,而是GPU利用率、token成本、系统调度效率,甚至物理AI场景中的实时决策能力。 那些原本属于AI基础设施和系统架构层面的议题,正在越来越频繁地出现在存储产业的讨论中心。 在传统计算架构里,存储的职责更多是“存”。 数据被写入、留存,在需要时调取,不需要时则静静停留在系统边缘。 它长期是BOM成本中的一项,是容量规划的问题,而很少直接参与算力效率的定义。 但在大模型训练与推理时代,这一角色被彻底改写。 KV Cache的访问延迟,开始直接影响token生成速率;Checkpoint的写入效率,决定着GPU在训练过程中的等待时间;SSD的IOPS密度,则进一步影响大模型推理场景下的并发能力和系统吞吐。
存储开始进入计算主路径,它决定数据流动的速度,也在某种程度上决定GPU算力能否被充分兑现。 而这,正在反向重塑整个存储产业链的分工逻辑。 存储进入计算路径,旧分工开始失效AI推理有一个被反复讨论的瓶颈:KV Cache。 大模型在处理长上下文时,需要把每一层、每一个token生成过程中的Key和Value结果临时保存下来,以避免重复计算。 上下文越长,并发越高,这部分缓存的体量就越惊人。 当高带宽显存无法继续承接,KV Cache只能向下一层存储介质下沉,NVMe SSD由此正式进入大模型推理的实时数据路径。 如果说过去SSD的使命是“提升加载速度”,那么在AI时代,它开始直接约束或决定推理吞吐的上限。 慧荣科技总经理苟嘉章的总结更为直接:“新一代存储,正在从数据存储进入计算存储。 ”这句话几乎点破了整个行业变化的本质。 一旦存储进入计算路径,它就不再只是静态保存数据,而是开始影响token生成效率:访问时延影响输出速度,IOPS密度决定并发能力,写入效率左右Checkpoint节奏,最终共同作用于单位token成本。
也正因如此,AI场景对存储提出的要求,已经明显超出了“标准颗粒 + 通用主控 + 标准模组产线”这套旧模式的能力边界。 2026年,全球也许没有任何一款主流AI存储产品能够实现供需平衡。 表面看,这是先进产能持续向高毛利AI产品倾斜,消费级市场被进一步挤压;但更深层的问题在于,即便产能跟上,旧有分工模式也难以高效承接AI场景对定制化、快速迭代的需求。 存储厂商集体越界当存储真正进入计算路径,产业链上原本清晰的角色边界开始松动:主控厂介入系统定义,模组厂延伸至固件与方案优化,各自补全过去并不属于自己的能力版图。 以慧荣为例,传统主控的核心任务,是管理闪存介质、优化读写效率,并在稳定性、兼容性和寿命之间寻找平衡。 但在AI时代,这套能力模型已经不够。 如今,慧荣开始反复强调一种新的能力——性能动态调节。 慧荣科技总经理苟嘉章在与雷峰网交流时多次强调,主控需要“根据工作负载、功耗和需求量,在动态中快速调整”。 这已经不再是传统意义上的硬件参数调优,而是直接响应英伟达新架构中“上下文内存存储(Context Memory Storage)”对实时调度的需求。
换句话说,主控正在从“闪存控制器”,演变为AI存储系统里的调度层,它不只是负责把数据写进去、读出来,更开始参与数据在GPU、显存和SSD之间的流动节奏定义。 这种变化,也在推动主控厂进一步向下游延伸。 慧荣正在积极与长江存储联合推进车规级方案,目标是在第三季度末至第四季度实现规模上量,直接供货国内车厂。 过去卖芯片的公司,如今越来越多地以“联合方案提供方”的身份出现。 这意味着主控厂的商业角色也在变化:一方面向上理解AI工作负载,把主控纳入系统调度;另一方面向下输出完整方案,从卖芯片走向卖系统能力。 未来存储产业的竞争,不再只发生在颗粒、主控或模组层,而是进一步延伸到封装架构、异构互连和系统级协同,是生态、技术、产能、客户、资本的综合战争。 端侧AI反向定义存储AI对存储的重构,显然不只发生在数据中心。 另一条同样重要的战场正在端侧迅速展开——AI PC、机器人、游戏掌机、智能眼镜,乃至更多尚未被完全定义的新型终端,都在把存储推向更核心的位置。 正如众多厂商在峰会上提到的,物理AI/端侧AI将迎来更广泛的发展,并带来更智能化的体验。 而这些更新更好的体验将带来更多的产品溢价,足以抵抗存储价格上涨的压力。
“这句话背后,点出了端侧AI最现实的商业逻辑:只要体验提升足够明显,存储成本就不再只是成本,而会转化为产品价值的一部分。 但与数据中心不同,端侧AI面临的不是单一性能问题,而是高度碎片化的场景挑战。 一台AI PC,需要在本地运行大模型,对存储的核心诉求是大容量 + 高速读取;一台机器人,需要在高震动、高移动性的复杂环境中持续稳定运行,同时还要支持后期扩容;一副智能眼镜,则把需求进一步推向极致的小尺寸、低功耗和高集成度。 可插拔、可扩容、高抗震、小尺寸、高容量——这些要求往往彼此拉扯,很难通过同一款标准化模组同时满足。 这也是为什么,端侧AI正在比数据中心更早倒逼存储方案走向场景化重构。 佰维给出的解法非常具有代表性。 针对机器人场景,其推出了一套 “BGA SSD + Mini SSD” 的组合方案:BGA SSD直接焊接在主板上,以更强抗震性承担系统盘角色,保障操作系统和本地AI模型稳定运行;Mini SSD则采用类SIM卡槽设计,支持用户无工具插拔,作为数据盘解决嵌入式设备后期无法扩容的长期痛点。 这套方案的关键,并不只是形态创新,而是它背后的产品逻辑:把“稳定”和“灵活”拆分为两个独立部件,并分别做到最优。
这本质上已经不是传统意义上的“卖一块SSD”,而是在重新定义机器人存储架构。 更值得关注的是,佰维的动作并未停留在单一产品层面。 它正在推动Mini SSD从企业级方案,进一步走向行业标准。 通过联合产业链上下游成立IP公司,并同步制定激励机制和权益金分配规则,佰维试图把“可插拔存储”推进为下一代AI终端的标准能力。 其目标场景并不局限于机器人,而是进一步覆盖AI PC、游戏掌机等多类设备——这些终端当前仍采用不同形态的本地存储方案,而Mini SSD的野心,是用统一接口去重新组织它们。 换句话说,它争夺的不只是产品份额,而是下一代端侧AI设备的标准定义权。 而在这个过程中,过去那套面向PC和手机时代的标准化存储模组,已经越来越难承接碎片化、多形态、高迭代的终端需求。 更深层的变化在于,设备与存储之间的关系,正在发生方向性的逆转——过去,是设备定义存储:设备要做什么,存储就被动适配什么。 而现在,随着本地AI能力越来越依赖容量、带宽、功耗和形态协同,存储开始反过来影响设备形态、产品定义,乃至最终用户体验。 下一战:功耗、延迟、智能AI最大的痛点并非算力不足,而是数据在存储与计算单元间的频繁搬运,降低系统效率。
如何减少数据在存储与计算单元之间的频繁搬运,已成为行业共同攻关的核心命题。 这句话放在一年前,可能还有点抽象。 但经过过去一年产业链上下游一连串几乎同步发生的变化之后,它开始落到一个个极其具体的技术指标上:KV Cache的访问时延、Checkpoint的写入效率、单位token成本等等。 过去十年,产业比拼的是单位容量的成本;下一个十年,胜负手将取决于数据在计算与存储之间流动的效率、功耗与智能。 至于那些仍固守在旧分工里、只盯着颗粒价格波动的玩家,留给他们的时间,或许真的不多了。 雷峰网
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from 雷峰网芯片
See more →Token账单迷雾:当每百万Token多少钱变成「比价陷阱」
The rise of Token billing in AI has transformed costs into operational expenses, with prices varying significantly due to factors like model efficiency, energy costs, and contract terms. As companies shift from GPU hours to Token-based billing, understanding the hidden complexities behind Token pricing becomes crucial for effective budgeting.




