PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐翻近7倍 – 量子位
Quick Answer
Meta-Infer's software optimizations have increased DeepSeek-V4.1-Flash's throughput from 1,932 to 13,274 tok/s, achieving a 6.87x performance boost on PCIe GPUs.
Quick Take
This approach allows lower-cost GPUs to approach the capabilities of high-end models like B300, demonstrating significant potential for cost-effective AI inference solutions.
Key Points
- DeepSeek-V4.1-Flash's throughput increased from 1,932 to 13,274 tok/s.
- Meta-Infer's optimizations include kernel completion and communication restructuring.
- Lower-cost PCIe GPUs can rival high-end models like B300 in performance.
- The approach enhances scalability for AI inference without changing model weights.
- Meta-Infer has been validated on various models, including GLM5.3.
📖 Reader Mode
~4 min read< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
2026-09-24 22:17:48 来源：量子位
1.5台6000D跑赢1台B300！
允中 发自 凹非寺
量子位 | 公众号QbitAI
随着大模型对算力需求持续攀升，GPU卡的采购成本、供给约束持续加剧。
AI推理的竞争正在悄然发生转向：不再单纯比拼“谁能够买到性能最顶级的硬件”，而是转向“谁可以把手中已有的算力资源用得更值”。
很多GPU卡，开源框架能够完成模型加载、权重下载、服务拉起，实现“能跑起来”，但实际压测性能往往远低于官方宣传水平。模型本身没有缺陷，硬件也可正常工作，性能损失的核心，来自模型框架与硬件之间存在的性能鸿沟。
这类GPU卡没有高速卡间互联，同时不在主流开源框架官方验证矩阵中。直接使用社区默认部署方案，会出现算子自动回退至低效通用实现、集合通信沿用NVLink硬件的调优参数、显存与并行配置沿用其他硬件默认值等一系列问题。硬件本身具备的算力潜力，被软件层的适配短板所禁锢。
是石科技（METASTONE）是一家“独立第三方全栈算力运营商”的科技企业。不绑定任何特定大模型厂商，致力于为客户提供涵盖硬件、组网、调度、优化与运营的一站式全栈算力交付服务。
凭借源自国家级计算中心的丰富经验，公司确保了算力集群高达99.95%以上的安全稳定运行（SLA）。目前，是石科技已纳管超过20000P的算力资源，运营10多个智算中心，拥有2个国家级超算中心。团队成员曾荣获3项戈登·贝尔奖，具备深厚的超大规模集群全栈技术服务实力等。
是石科技自研Meta-Infer高效部署引擎，是面向异构加速芯片的企业级高性能大模型推理引擎，尝试通过纯软件优化手段弥合这道硬件-框架之间的缝隙，在不改动模型结构、不修改任务语义的前提下，充分挖掘GPU卡架构硬件的推理能力，为行业提供一种可能性：
依靠软件优化，成本更低的GPU卡，有机会在部分推理业务指标上，逼近原本需要更高端GPU才能实现的服务能力。
Meta-Infer高效推理引擎的整套优化逻辑，分为两大关键阶段：
- 算模协同，释放被硬件差异屏蔽的高性能路径；
- 通算重构，打通瓶颈，充分榨干硬件资源。
最终将沉淀为Meta-Infer高效推理引擎的四项核心能力：内核补齐、算子优化与通信重构、并行与容量调优、缓存复用。
1、内核补齐
主流推理框架内置了大量高性能算子，但对于不在官方验证清单的长尾硬件，框架不会报错，只会静默绕开加速路径，降级运行低效通用逻辑。
很多高性能内核并非缺失，只是元数据、页尺寸、硬件内核适配不匹配，导致无法被触发执行。
Meta-Infer高效推理引擎，通过内核补齐完成适配修复：
- 对齐硬件与框架之间的元数据定义，修正页尺寸配置，解锁原生高性能算子路径；
- 替换不适配硬件的老旧计算内核，切换为面向目标硬件深度调优的实现；
- 扩大通信快路径的生效阈值，让更多规模的通信任务避开慢速回退逻辑。
△该图由是石科技提供
以DeepSeek-V4.1-Flash为例，在8张PCIe-Only显卡环境的社区Day0基线版本中，输入吞吐仅1932 tok/s。
经过算模协同阶段的修复适配，补齐sparse-MLA Prefill快路径，替换FP8稠密GEMM慢内核，扩大PCIe-IPC通信快路径覆盖范围，吞吐直接提升至5850 tok/s。
这一阶段的提升，并不是创造全新算法，而是把硬件与框架本就具备、却被适配问题锁住的性能释放出来。
△该图由是石科技提供
△该图由是石科技提供
同样的思路也复现在DeepSeek-V4-Flash、GLM5.3等模型上：修正注意力头补齐的冗余计算，对KV缓存标记逻辑做向量化加速，适配硬件特性重构算子拆分逻辑，拓展CUDA计算图覆盖范围，让更多请求批次可以进入加速图执行。仅仅完成算模协同，多款模型就拿到20%-33%不等的吞吐增益。
完成硬件适配、解锁加速路径之后，性能瓶颈会进一步转移到通信开销、并行调度、显存分配、重复计算等环节。PCIe-Only架构卡间通信带宽远低于NVLink，如果直接套用面向高速互联硬件的默认策略，GPU会花大量时间等待通信完成，算力资源被闲置浪费。
2、算子优化与通信重构
依托算子优化与通信重构，Meta-Infer高效推理引擎对注意力、投影等关键算子做算子融合，压缩单步计算耗时；将计算任务和集合通信做时间重叠掩盖，把统计类计算嵌入通信间隙并行执行；改写集合通信逻辑适配PCIe带宽特性，降低消息传输带来的等待开销。
3、并行与容量调优
在此基础上开展并行与容量调优，放弃框架全局固化的并行参数，针对Prefill预填充、Decode生成不同运行阶段差异化配置张量并行、上下文并行策略；结合硬件显存特性，动态调整静态显存占比、KV缓存容量参数，规避显存溢出与算子回退；面向不同业务负载，灵活匹配流水线、张量并行的组合形态，让高并发短请求、超长上下文请求都可以拿到最优执行配置。
4、缓存复用
面向长文本、视频生成场景，缓存复用能力提供风险感知的缓存复用机制，根据实时生成状态动态判断缓存复用与刷新时机，在不牺牲输出质量的前提下削减重复计算与显存读写。
在DeepSeek-V4.1-Flash的实践中，完成算模协同之后，经过通算重构的全套调优：注意力算子融合、合理裁剪投机解码草稿长度、计算通信重叠、区分Prefill/Decode并行策略、重新调校显存容量参数，输入吞吐从5850 tok/s进一步提升至13274 tok/s，整体实现6.87倍吞吐提升，并且支持1M超长上下文。
这套方法论具备通用性，覆盖文本大模型、长上下文、视频生成多类任务：
DeepSeek-V4-Flash：经过全套优化输入吞吐从14546 tok/s提升至22584 tok/s，提升1.55倍；
GLM5.3：输入吞吐自3236.78 tok/s提升至6222.72 tok/s，提升1.92倍；P95首Token时延从141.6秒下降至46.6秒，上下文支持上限从27万Token拓展到105万Token；
在相同并发点配对比较下，B300的输入吞吐约为这台8卡整机的4.9–5.6倍（DeepSeek-V4-Flash，B300侧按SGLang cookbook推荐参数配置，C8输入33,937 / C256 60,486 tok/s），GLM-5.3 ¹上这一比值为3.5–4.7倍（B300侧C8输入16,384 / C64 23,503 tok/s）。
MiniMax H3视频生成模型：依托稀疏注意力、自研风险感知缓存复用、Turbo LoRA多手段组合，15秒参考图生视频端到端生成速度提升2.48倍，峰值显存与原始稠密基线保持持平。
△该图由是石科技提供
单机8卡整机配置，文生视频最高吞吐达到基线的5.33倍，参考图生视频达到基线的4.98倍，在不明显损失画质的前提下大幅缩短视频生成耗时。
把这组整机吞吐放到顶级GPU的同一把标尺上，差距比直觉更小：在统一整机口径下（单机8卡、5秒 / 768P / 16：9），文生视频296条/时、参考图生视频131条/时，对应B300的439条/时、225条/时，分别约为其67%和58%（B300侧按SGLang cookbook推荐参数配置，取16实例、每实例Inflight=1的最优档；其中文生视频对照的是B300的FL2VA结果）。
如果进一步按整机吞吐折算，在几乎无损的Ours Cache方案下，约2.6台6000D可对应1台B300的文生视频吞吐，参考图生视频约为2.9台；在Ours Cache + LoRA方案下，这一比例进一步缩小到约1.5台和1.7台。
硬件本身没有变化，性能差距的缩小主要来自软件栈、缓存策略与模型优化方式的组合。
下面这段是参考图生视频（Ref2VA）任务的同题对照，Dense基线、Cache-DiT、Turbo LoRA与本文方案并排呈现。
国产GPU卡：同一套方法论同样成立
Meta-Infer高效推理引擎也在国产GPU上完成了验证。
国产GPU往往也不在主流框架的官方验证矩阵内，因此需要针对具体硬件重新梳理执行路径。
例如，注意力模块需要显式启用面向该平台优化的NSA稀疏注意力实现，避免回退到低效路径；Shared Expert融合等默认面向NVIDIA/AMD平台的特性则需要关闭，以绕开不适配实现。
通信策略也需要根据推理阶段分别配置，Prefill采用偏吞吐优化的DeepEP normal模式，Decode采用偏时延优化的low_latency模式，并将Shared Expert与Routed Expert拆分到两条stream中并行提交，以进一步与集合通信重叠。
其中，仅将Shared Expert与Routed Expert改为并行提交，就在35组同配置配对测试中带来了11.26%的吞吐提升。
这说明对于国产算力而言，“能跑起来”同样只是第一步。
通过针对执行路径、通信模式和并行策略进行系统适配，仍可以进一步释放硬件的实际推理性能，使其更接近规模化生产服务所需的性能水平。
长尾硬件的新思路：“能跑起来”不是终点
全部优化工作均收敛在Meta-Infer高效推理引擎内部，全程无需改动模型权重与模型结构，不改变原有业务任务语义。
对于开源社区大量不在官方验证矩阵内的长尾硬件，行业过往现状往往是：新模型发布，权重可以下载、服务可以拉起，做到“能跑起来”，工作就宣告结束。
但这套实践证明，“能跑”和“可用、可规模化对外提供生产服务”之间，还存在巨大的软件优化空间。
在硬件供给存在约束、高端算力成本居高不下的大背景下，Meta-Infer高效推理引擎代表了一条新路线——不必一味追逐最顶级硬件，通过内核补齐、算子通信重构、并行容量调优、缓存复用这套软件体系，充分挖掘现有PCIe架构硬件的潜力。
这为大模型推理业务带来一种值得关注的可能性：借助深度软件优化，成本更友好的PCIe GPU，有机会在部分推理业务指标上向更高端硬件的服务能力靠拢。
硬件的上限由芯片决定，但硬件能实际发挥出多少能力，则由软件决定。
¹ 无损NVFP4量化版本：模型权重以NVFP4部署，保持既有模型计算定义，未引入额外精度损失。
*本文系量子位获授权刊载，观点仅为原作者所有。
版权所有，未经授权不得以任何形式转载及使用，违者必究。
— Originally published at qbitai.com
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from WebSearch (Tavily)
See more →全球AI芯片峰会，9月上海见！
The 2026 Global AI Chip Summit will take place in Shanghai on September 22-23, focusing on the evolving AI chip landscape, including the shift from training to inference, the rise of diverse chip technologies, and the restructuring of industry competition. Notable speakers include experts from leading universities and companies, discussing advancements in AI chip architecture and applications.